Windows10下Python可靠识别文件编码的方法咨询

针对部分中文文本文件无法被chardet识别编码（返回{'encoding': None, 'confidence': 0.0, 'language': None}），但系统记事本、Notepad++可正常识别为GB2312的场景，可尝试以下几种更可靠的Python识别方法：

1. 用cchardet替代chardet #

cchardet是chardet的C语言优化版本，对边缘编码场景的识别能力更强。

• 安装：

  pip install cchardet
  

• 使用示例：

  import cchardet
  
  path = r"C:\A chinese novel.TXT"
  with open(path, 'rb') as f:
      detection_result = cchardet.detect(f.read())
      print(detection_result)
  

2. 基于中文编码特征的启发式识别 #

中文GB2312/GBK/GB18030有固定的字节范围，通过统计符合该范围的字节占比可辅助判断：

def guess_chinese_encoding(file_path):
    with open(file_path, 'rb') as f:
        data = f.read()
    
    valid_gbk_bytes = 0
    total_bytes = len(data)
    index = 0
    
    while index < total_bytes:
        byte = data[index]
        # 单字节ASCII跳过
        if byte < 0x80:
            index += 1
            continue
        # GBK双字节规则：首字节0x81-0xFE，次字节0x40-0x7E或0x80-0xFE
        if 0x81 <= byte <= 0xFE and index + 1 < total_bytes:
            second_byte = data[index + 1]
            if (0x40 <= second_byte <= 0x7E) or (0x80 <= second_byte <= 0xFE):
                valid_gbk_bytes += 2
                index += 2
                continue
        index += 1
    
    # 若符合GBK规则的字节占比超过60%，判定为GBK（兼容GB2312）
    if total_bytes > 0 and valid_gbk_bytes / total_bytes > 0.6:
        return 'GBK'
    return None

# 使用
print(guess_chinese_encoding(r"C:\A chinese novel.TXT"))

3. 调用Windows系统API获取编码推断 #

Windows系统本身对文件编码有内置推断逻辑，可通过pywin32调用系统API获取结果：

• 安装：

  pip install pywin32
  

• 使用示例：

  import win32api
  
  path = r"C:\A chinese novel.TXT"
  # 获取系统推断的代码页，映射为标准编码名
  codepage = win32api.GetFileEncoding(path)
  codepage_to_encoding = {
      936: 'gbk',
      65001: 'utf-8',
      1252: 'cp1252'
  }
  print(codepage_to_encoding.get(codepage, 'unknown'))
  

4. 多工具交叉验证+解码验证 #

结合多种识别工具的结果，再通过解码验证确认正确性：

import chardet
import cchardet

def is_valid_encoding(file_path, encoding):
    try:
        with open(file_path, 'r', encoding=encoding) as f:
            f.read()  # 尝试完整读取文件，无解码错误则有效
        return True
    except UnicodeDecodeError:
        return False

path = r"C:\A chinese novel.TXT"
candidate_encodings = []

# 收集chardet、cchardet的结果
with open(path, 'rb') as f:
    data = f.read()
chardet_result = chardet.detect(data)
if chardet_result['encoding']:
    candidate_encodings.append((chardet_result['encoding'], chardet_result['confidence']))
cchardet_result = cchardet.detect(data)
if cchardet_result['encoding']:
    candidate_encodings.append((cchardet_result['encoding'], cchardet_result['confidence']))

# 添加启发式识别结果
heuristic_enc = guess_chinese_encoding(path)
if heuristic_enc:
    candidate_encodings.append((heuristic_enc, 0.7))  # 自定义置信度

# 按置信度排序，依次验证
candidate_encodings.sort(key=lambda x: x[1], reverse=True)
for enc, conf in candidate_encodings:
    if is_valid_encoding(path, enc):
        print(f"确认有效编码：{enc}（置信度：{conf}）")
        break

内容的提问来源于stack exchange，提问作者all sky