Python读取txt文件出现乱码或UnicodeDecodeError怎么办

周末不加班
周末不加班
发布时间:2026-11-17 | 11人浏览过
原创

详细分析Python读取txt文本文件时出现UnicodeDecodeError报错或内容乱码的根本原因,提供从指定编码、BOM处理、动态探测到容错处理的完整排查与解决步骤。

在 Python 中使用 open() 函数读取文本文件时,遇到 UnicodeDecodeError 异常或读取出来的汉字变成乱码、问号、黑方块,核心原因只有一个:Python 在打开文件时所采用的解码规则(Encoding),与该文件在磁盘上实际存储时的字节编码不一致。特别是在 Windows 系统中,若未在 open() 中显式传入 encoding 参数,Python 3 默认会采用系统本地编码(通常是 GBK 或 cp936),而当文件使用目前通用的 UTF-8 保存时,便会直接触发解码崩溃。解决这一问题的规范路径是:先明确真实编码,再在代码中显式指定编码参数,并针对带 BOM 或含杂质字节的场景应用对应的容错策略。

一、排查思路与解决流程

面对读取失败,盲目修改编码参数容易反复碰壁。规范的排查应遵循“显式指定 UTF-8 → 尝试中文扩展编码 → 剔除 BOM 标识 → 动态检测真实编码”的递进逻辑。

Python读取txt文件出现乱码或UnicodeDecodeError怎么办
图 1:Python 读取 txt 文本文件排查与决策路径

二、为什么会报错:编码与解码的本质冲突

计算机在磁盘上存储任何文本文件时,保存的都是底层的二进制字节(如 0xE4 0xBD 0xA0)。当在 Python 中以普通文本模式 'r' 打开文件时,Python 必须依靠一个编码规则表把这些二进制序列重新还原成 Unicode 字符串。这一过程称为解码(Decode)。

如果文件的原始字节是按 UTF-8 规范生成的(例如汉字“你”占用 3 个字节:E4 BD A0),而在读取时 Python 误用了 GBK 规则(GBK 采用双字节解析汉字),GBK 解码器在读取 E4 BD 后,紧接着读取 A0 时发现后续字节无法构成合法的 GBK 码点,就会立即中断执行并抛出典型异常:

UnicodeDecodeError: 'gbk' codec can't decode byte 0x... in position ...: illegal multibyte sequence

反之,如果文件本身是 GBK 编码,却使用 UTF-8 解码,UTF-8 解码器检查字节的前导标志位(如 1110xxxx)不符合规范时,同样会抛出:

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x... in position ...: invalid start byte

而当某些字节序列恰好在目标编码表中存在对应字符,但对应的是错误的字符时,程序不会抛出错误,而是直接展现出“锟斤拷”、“烫烫烫”或一串无意义的符号,这就是典型的无报错乱码。

Python读取txt文件出现乱码或UnicodeDecodeError怎么办
图 2:二进制字节流在不同解码规则下的映射结果对比

三、具体解决步骤与代码示例

1. 绝大多数场景:显式声明 UTF-8

在所有操作系统的生产环境中,编写文件读取代码的第一条铁律就是:永远不要省略 encoding 参数。现代开发工具、文本编辑器以及 Linux/macOS 环境默认生成的文本均为 UTF-8 编码。显式声明可消除跨系统运行时的隐式默认差异:

# 标准读取写法:显式指定 utf-8
file_path = "example.txt"

with open(file_path, "r", encoding="utf-8") as f:
    content = f.read()
    print(content)

2. Windows 原生环境与旧文件:使用 GB18030 代替 GBK

如果在执行上述代码时抛出 'utf-8' codec can't decode byte 0x...,说明该文件是用 Windows 本地编码(ANSI)保存的。在简体中文版 Windows 下,ANSI 对应 GBK。

在 Python 中,建议直接使用 gb18030,而不是 gbk 或 gb2312。因为 gb18030 是国家标准字符集,向下完全兼容 GBK 和 GB2312,并且收录了包含生僻字、少数民族文字在内的数万个扩展字符,可以有效避免因少量生僻字引发的解码崩溃:

# 针对 Windows ANSI / 中文传统系统的文本
file_path = "windows_ansi.txt"

with open(file_path, "r", encoding="gb18030") as f:
    content = f.read()
    print(content)

3. 首行出现特殊符号:使用 UTF-8-SIG 消除 BOM

在使用 Windows 记事本另存为 UTF-8,或某些老旧系统导出的 CSV/txt 文件中,文件的最开头可能包含三个隐式字节 0xEF 0xBB 0xBF,即字节顺序标记(BOM)。

若使用普通 utf-8 读取,虽然不会报错,但读取出来的字符串最前端会带有一个不可见字符 \ufeff。这会导致首行文本匹配失败、字典键名出现脏字符(例如原本的 "name" 变成了 "\ufeffname")。此时只需将编码改为 utf-8-sig,Python 会自动检测并过滤掉这三个字节:

# 处理带有 BOM 签名的 UTF-8 文件
file_path = "export_bom.txt"

with open(file_path, "r", encoding="utf-8-sig") as f:
    content = f.read()
    # 此时首行开头的 \ufeff 会被自动剥离
重点提示
utf-8-sig 在读取普通无 BOM 的 UTF-8 文件时也是完全兼容的;但若文件是纯 GBK 编码,使用 utf-8-sig 依然会报错。

四、进阶场景:未知编码探测与杂质容错

在批量处理用户上传文件或网络抓取的大量异构文本时,我们往往无法提前预知每一个文件的真实编码。这时可以结合编码动态探测与容错参数来构建防御式读取逻辑。

Python读取txt文件出现乱码或UnicodeDecodeError怎么办
图 3:常见字符编码特征与 Python 参数适配矩阵

1. 使用 charset-normalizer / chardet 自动嗅探

对于无法人工核对的大批量未知文件,可以使用 Python 生态中的探测库。现代项目中推荐使用 charset-normalizer(Requests 库底层依赖,性能与准确度更优):

from charset_normalizer import from_path

# 自动分析文件编码
results = from_path("unknown_file.txt")
best_match = results.best()

if best_match is not None:
    detected_encoding = best_match.encoding
    print(f"检测到文件编码为: {detected_encoding}")
    
    with open("unknown_file.txt", "r", encoding=detected_encoding) as f:
        content = f.read()
else:
    print("未能识别有效编码,需人工介入分析")

如果文件体积非常大(例如数百兆的日志文件),切忌把全量字节载入内存进行检测。可以通过二进制模式 'rb' 只读取前几千个字节进行采样探测:

from charset_normalizer import from_bytes

# 仅读取前 4096 字节进行快速采样
with open("large_file.txt", "rb") as f:
    sample_bytes = f.read(4096)

guess = from_bytes(sample_bytes).best()
encoding = guess.encoding if guess else "utf-8"

with open("large_file.txt", "r", encoding=encoding, errors="replace") as f:
    for line in f:
        # 逐行处理大文件
        pass

2. 容错处理:errors 参数的边界权衡

在真实业务数据中,某些文本在传输或合并过程中可能混入了损坏的不可逆杂质字节。若业务要求“即使有少量乱码也不能中断核心流程”,可以在 open() 中配置 errors 参数:

  • errors='strict'(默认值):遇到无法解码的字节立即抛出 UnicodeDecodeError,适合对数据完整性要求极高、不允许任何丢失的财务、交易数据。
  • errors='replace':将无法识别的字节替换为占位字符(如 Unicode 替换符 或问号 ?),保证全文能读完,同时能清晰看出损坏位置。
  • errors='ignore':直接跳过并丢弃无法识别的非法字节,后续文本无缝拼接。需要注意,如果丢失的是汉字字节片段,可能导致前后文错位。
  • errors='backslashreplace':将非法字节转义成类似 \x80 的十六进制字面量形式,便于后续调试排查原始损坏数据。
# 容忍少量损坏字节的稳健读取方式
with open("corrupted_data.txt", "r", encoding="utf-8", errors="replace") as f:
    content = f.read()

五、生产级健壮读取方案总结

在实际工程代码中,为了兼顾高准确率与自动化容错,推荐将上述策略封装为一个多级降级函数。先尝试标准的 UTF-8 与 GB18030,若均失败则启用动态探测,最后使用替代策略完成保底读取。

Python读取txt文件出现乱码或UnicodeDecodeError怎么办
图 4:Python 文本安全读取体系核心原则与闭环设计

以下是适用于绝大多数数据处理场景的标准封装代码模板:

def safe_read_text(file_path: str) -> str:
    """
    通用文本安全读取函数:
    依次以 utf-8、gb18030 尝试读取,若均失败则启用容错模式保底。
    """
    # 候选编码列表(按常见频率降序)
    candidate_encodings = ["utf-8", "gb18030", "utf-8-sig"]

    for enc in candidate_encodings:
        try:
            with open(file_path, "r", encoding=enc) as f:
                return f.read()
        except (UnicodeDecodeError, LookupError):
            continue

    # 若常规编码均无法无损解析,采用 utf-8 配合替换占位符保底
    with open(file_path, "r", encoding="utf-8", errors="replace") as f:
        return f.read()

通过理解“字节存储”与“字符解码规则”的对应关系,并在日常开发中养成始终显式指定 encoding、善用 gb18030 与 utf-8-sig、对异构数据使用动态检测与替代容错的编码习惯,即可彻底避免 UnicodeDecodeError 异常与文本乱码问题。

相关专题:

本站声明

本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。

Python 相关产品和应用

全部下载

专题列表