使用CSV Sniffer识别分隔符：单文件正常多文件循环报错

这个报错大概率是因为部分CSV文件格式异常，导致csv.Sniffer().sniff()没能正确识别出合法的单字符分隔符——比如文件是空的、开头是大量注释行，或者前几行格式混乱，让Sniffer无法推断出正确的分隔符，最终生成的dialect对象里的delimiter不符合要求。另外也有可能是循环中重复使用了同一个Sniffer实例，导致状态污染，但这种情况比较少见，优先排查文件本身的问题。

下面是具体的解决步骤和修改后的代码：

1. 给Sniffer添加容错处理 #

在识别分隔符时捕获异常，设置默认分隔符（比如逗号','）作为兜底，同时记录错误日志或跳过有问题的文件。

2. 每个文件单独创建Sniffer实例 #

循环处理文件时，为每个文件新建csv.Sniffer()，避免跨文件的状态干扰。

3. 验证识别出的dialect #

在使用dialect前，检查delimiter是否为合法单字符，不合法则使用默认值。

修改后的完整代码示例 #

#!/usr/local/bin/python3
import csv
import os

def read_csv_delimit(file_dir, csv_file):
    file_path = os.path.join(file_dir, csv_file)
    try:
        with open(file_path, 'r', newline='', encoding='utf-8') as csvfile:
            # 每个文件都新建Sniffer实例，避免状态污染
            sniffer = csv.Sniffer()
            # 读取前1KB内容用于识别（可根据文件大小调整）
            sample = csvfile.read(1024)
            csvfile.seek(0)  # 重置文件指针到开头
            
            # 尝试识别dialect，捕获识别失败的情况
            try:
                dialect = sniffer.sniff(sample)
                # 验证分隔符是否为合法单字符
                if not isinstance(dialect.delimiter, str) or len(dialect.delimiter) != 1:
                    raise ValueError("识别到无效分隔符")
            except (csv.Error, ValueError):
                # 识别失败时使用默认的逗号分隔dialect
                dialect = csv.excel
                
            reader = csv.reader(csvfile, dialect)
            # 这里添加你的业务处理逻辑，比如读取行数据
            for row in reader:
                print(row)
    except Exception as e:
        print(f"处理文件 {csv_file} 时出错: {str(e)}")

# 遍历文件夹处理所有CSV文件的函数
def process_csv_folder(csv_dir):
    for filename in os.listdir(csv_dir):
        if filename.lower().endswith('.csv'):
            read_csv_delimit(csv_dir, filename)

# 调用示例
if __name__ == "__main__":
    target_folder = "./your_csv_directory"  # 替换为你的CSV文件夹路径
    process_csv_folder(target_folder)

额外排查建议 #

• 定位报错文件：找到触发错误的具体CSV文件，手动打开检查内容是否异常（比如空文件、全注释行、非标准分隔符）。
• 调整采样范围：如果文件开头有大量无关内容（比如标题、注释），可以先跳过这些行再采样，或者增加采样内容长度，让Sniffer获取足够的有效数据。
• 限定分隔符候选：如果你的CSV文件只有几种可能的分隔符（逗号、制表符、分号），可以用sniffer.sniff(sample, delimiters=',;\t')缩小识别范围，提高准确率。

内容的提问来源于stack exchange，提问作者chriszanf