如何解决Python读取UTF-8文本文件时出现的UnicodeDecodeError报错问题

• file命令的编码检测是采样检测，仅读取文件头部的部分内容判断编码，不会扫描整个大文件，所以只要头部是合法UTF-8就会返回UTF-8的检测结果，不代表整个文件所有字节都符合UTF-8编码规范。遇到的报错说明文件中间存在少量非法UTF-8字节，通常是文件写入时异常截断、多编码内容拼接、传输过程字节损坏导致的，不属于全文件编码错误。
• 使用latin-1/ISO-8859-1不会报错是因为这是单字节编码，所有0x00-0xFF的字节都有对应的字符，本质是绕过了编码校验，没有按照UTF-8规则解析多字节字符，所以正常的UTF-8中文会被拆成多个单字节字符显示为乱码，属于回避问题而非解决问题。

临时处理不中断大文件任务 #

优先使用errors参数处理非法字节，不需要更换编码：

# 遇到非法字节自动替换为�，不中断任务，也不会破坏正常UTF-8字符
with open(filename, 'r', encoding='utf8', errors='replace') as f:
    # 原有处理逻辑

如果需要忽略非法字节，可设置errors='ignore'，直接丢弃无法解码的字节，适合不需要保留完整内容的统计场景。

定位修复问题内容 #

如果需要定位错误位置修复文件，可采用二进制读取逐行校验的方式：

with open(filename, 'rb') as f:
    for line_num, byte_line in enumerate(f, 1):
        try:
            line = byte_line.decode('utf-8')
            # 正常处理逻辑
        except UnicodeDecodeError:
            # 输出错误行信息排查问题
            print(f"错误行号：{line_num}，异常字节片段：{byte_line[:200]}")
            # 可尝试用其他常见编码解码该行，比如gbk、gb2312等

大量文件批量处理的通用方案 #

• 优先默认使用encoding='utf8' + errors='replace'组合，兼顾兼容性和稳定性，绝大多数场景下都适用
• 若业务要求不能丢失字符，可先对单个文件做全量编码校验，对存在非法字符的文件单独处理，不要直接全局替换为latin-1编码
• 混合编码场景下可使用chardet等编码检测库对异常文件做单独检测，不要直接修改全局编码配置

内容的提问来源于stack exchange，提问作者marlon