如何用Python 3.8可靠检测CSV及Excel电子表格文件的文本编码？

首先得先厘清两个核心点：Excel文件不是纯文本格式，直接用UnicodeDammit读取整个文件二进制内容来检测编码完全无效；而CSV作为纯文本，针对中东欧语言的编码（比如Windows-1250），我们需要优化检测逻辑来避免误判。

一、先搞定Excel文件的编码逻辑 #

不管是.xlsx还是.xls，它们本质都是二进制容器格式：

• .xlsx是ZIP压缩包，内部XML文件用UTF-8/UTF-16存储文本，pandas.read_excel()会自动处理这些编码，完全不需要手动检测。
• .xls（旧BIFF格式）内部文本使用UTF-16LE编码，同样pandas会自动识别。

所以你的代码里对Excel文件调用get_file_encoding是多余的，直接去掉这部分逻辑即可。

二、优化CSV文件的编码检测 #

针对你遇到的UnicodeDammit误判Windows-1250的问题，我们可以结合「多工具检测+语言特征验证」的方式来优化：

1. 结合chardet增强检测精度 #

虽然UnicodeDammit整体更准确，但对于区域编码（比如Windows-1250/1251），chardet的置信度判断能帮我们修正误判：

from bs4 import UnicodeDammit
import chardet

def detect_csv_encoding(file_path, sample_size=10000):
    with open(file_path, 'rb') as f:
        # 读取文件前10KB样本，避免大文件占用过多资源
        sample = f.read(sample_size)
    
    # 先用UnicodeDammit检测
    dammit_result = UnicodeDammit(sample).original_encoding
    # 再用chardet检测并获取置信度
    chardet_result = chardet.detect(sample)
    chardet_enc = chardet_result['encoding']
    chardet_conf = chardet_result['confidence']
    
    # 针对中东欧语言的特殊处理：如果chardet检测到目标编码且置信度>70%，优先采用
    target_encodings = {'windows-1250', 'windows-1251', 'iso-8859-2'}
    if chardet_enc in target_encodings and chardet_conf > 0.7:
        return chardet_enc
    
    # 若UnicodeDammit返回iso-8859-1，检查是否有中东欧特征字节（比如\xb3对应波兰语ł）
    if dammit_result == 'iso-8859-1':
        if b'\xb3' in sample or b'\xa5' in sample:  # \xa5对应波兰语ż
            return 'windows-1250'
        if b'\xc0' in sample or b'\xd0' in sample:  # 对应俄语А/а
            return 'windows-1251'
    
    #  fallback到UnicodeDammit结果或默认UTF-8
    return dammit_result or 'utf-8'

2. 改进你的SpreadsheetFile类 #

把上面的逻辑整合进去，区分CSV和Excel的处理逻辑：

import pandas as pd
from os import path
from bs4 import UnicodeDammit
import chardet

class SpreadsheetFile:
    def __init__(self, file_path):
        if not path.isfile(file_path):
            raise FileNotFoundError(f"文件 {file_path} 不存在")
        
        self.file_path = file_path
        self._dataframe = None
        self._encoding = None
        
        if file_path.lower().endswith('.csv'):
            self._encoding = self._detect_csv_encoding()
            # 用检测到的编码读取CSV，避免乱码
            self._dataframe = pd.read_csv(file_path, encoding=self._encoding)
        elif file_path.lower().endswith(('.xls', '.xlsx')):
            # Excel文件无需检测编码，pandas自动处理内部Unicode编码
            self._dataframe = pd.read_excel(file_path)
            self._encoding = "UTF-8/UTF-16 (Excel内部编码)"
    
    def _detect_csv_encoding(self, sample_size=10000):
        with open(self.file_path, 'rb') as f:
            sample = f.read(sample_size)
        
        dammit_enc = UnicodeDammit(sample).original_encoding
        chardet_res = chardet.detect(sample)
        chardet_enc = chardet_res['encoding']
        chardet_conf = chardet_res['confidence']
        
        # 中东欧编码优先级处理
        priority_encs = {'windows-1250', 'windows-1251', 'iso-8859-2'}
        if chardet_enc in priority_encs and chardet_conf > 0.7:
            return chardet_enc
        
        # 修正UnicodeDammit对iso-8859-1的误判
        if dammit_enc == 'iso-8859-1':
            if b'\xb3' in sample or b'\xa5' in sample:
                return 'windows-1250'
            if b'\xc0' in sample or b'\xd0' in sample:
                return 'windows-1251'
        
        return dammit_enc or 'utf-8'
    
    # 提供只读属性访问数据和编码
    @property
    def dataframe(self):
        return self._dataframe
    
    @property
    def encoding(self):
        return self._encoding

三、关于Excel保存编码的疑问 #

你观察到的现象是对的：

• .xlsx/.xls文件本身只能用Unicode编码（UTF-8/UTF-16）存储文本，Excel不支持直接将表格保存为非UTF编码的格式。
• 如果需要特定编码的文本输出，你需要将Excel文件另存为CSV，此时可以在保存对话框中选择对应的编码（比如Windows-1250）。

测试你的示例 #

针对你提到的波兰语Wrocław编码为Windows-1250的场景：

# 创建测试CSV文件
text = 'Wrocław'
with open('test_win1250.csv', 'wb') as f:
    f.write(text.encode('windows-1250'))

# 用改进后的类检测
sf = SpreadsheetFile('test_win1250.csv')
print(sf.encoding)  # 输出：windows-1250
print(sf.dataframe)  # 正确显示Wrocław

这样就能解决UnicodeDammit的误判问题，同时正确处理Excel文件的编码逻辑。

内容的提问来源于stack exchange，提问作者J. A.