Python如何检测乱码或损坏字符？UTF-8读取文件未识别异常字符如何处理

Python完全可以检测这类乱码或损坏字符，你遇到的两类字符属于不同的场景，处理逻辑也有区别：

• 第一种従業員マスタ 属于编码兼容误读：它本身是合法的UTF-8字节序列，只是原本属于其他编码（常见为GBK、Shift-JIS等）的内容被错误用UTF-8解码，因此不会触发UTF-8解码的无效字符判定。
• 第二种���������� 属于无效字节替换结果：是解码时遇到不符合UTF-8规则的字节时，默认用U+FFFD替换字符（即�）替换后的产物，因此读取阶段不会报错，但内容已经损坏。

1. 读取阶段直接检测无效字节 #

读取文件时不要使用默认的errors='replace'或errors='ignore'参数，改用errors='strict'，遇到不符合UTF-8规则的字节会直接抛出UnicodeDecodeError，你可以捕获该错误判定文件存在损坏字符：

try:
    with open("目标文件.txt", "r", encoding="utf-8", errors="strict") as f:
        content = f.read()
except UnicodeDecodeError as e:
    print(f"检测到无效UTF-8字符，损坏位置：{e.start} - {e.end}")

如果需要保留完整内容同时标记损坏位置，可以使用errors='surrogateescape'参数读取，无效字节会被转为Unicode代理区字符，后续可单独检测：

def has_damaged_chars(s: str) -> bool:
    # 检测对应无效字节的代理区字符
    return any("\udc80" <= c <= "\udcff" for c in s)

2. 处理编码误读类乱码 #

对于合法UTF-8序列但属于编码误读的乱码，可以通过字符分布特征或编码检测工具处理：
你可以先读取文件的原始二进制字节，用编码检测库判断真实编码后重新解码：

from charset_normalizer import from_bytes

# 读取原始二进制内容
with open("目标文件.txt", "rb") as f:
    raw_bytes = f.read()

# 检测真实编码
detect_result = from_bytes(raw_bytes).best()
if detect_result:
    correct_content = raw_bytes.decode(detect_result.encoding)
    print(f"检测到真实编码为{detect_result.encoding}，解码后内容：{correct_content}")

3. 检测已替换的损坏字符 #

如果读取后的内容已经存在�替换符，直接统计即可判定损坏程度：

if "�" in content:
    damaged_num = content.count("�")
    print(f"文件共存在{damaged_num}个损坏字符")

内容的提问来源于stack exchange，提问作者Fancy