使用Python检查CSV格式时断言失效及分隔符判断异常求助

让我帮你分析这两个断言校验的问题所在，以及对应的解决办法：

1. 缺失值检查未触发错误：逻辑完全搞反了 #

你写的assert df.notna().values.any()意思是只要数据里有哪怕一个非空值，断言就通过——这和你要的“确保没有任何缺失值”正好相反！哪怕CSV里一半是NaN，只要有一个有效值，any()就会返回True，断言自然不会触发错误。

修正后的代码 #

要检查整个DataFrame里没有任何缺失值，得用all()来判断所有元素是否都非空：

def check_missing(self, file):
    df = pd.read_csv(file, sep=',')
    try:
        # axis=None会遍历整个DataFrame的所有元素
        assert df.notna().all(axis=None), "NaN in data"
    except AssertionError as e:
        # 把错误抛出来，方便后续捕获处理
        raise AssertionError(e)

或者用更直观的缺失值统计写法，可读性更强：

def check_missing(self, file):
    df = pd.read_csv(file, sep=',')
    total_missing = df.isna().sum().sum()
    assert total_missing == 0, f"Found {total_missing} NaN values in the data"

2. 逗号分隔判断不稳定：逻辑漏洞+异常处理摆烂 #

你的这段代码有两个致命问题：

• 逻辑不严谨：len(df.columns) != 1只能说明解析后列数不是1，但没法证明是逗号分隔。比如用分号分隔的单列表格会被误判成逗号分隔，而真实逗号分隔的单列表格会被错误标记为不符合。
• 异常处理等于没写：except AssertionError: "Not comma separated"这行只是写了个字符串，根本没有抛出错误的操作！所以哪怕断言失败，程序也不会给你任何提示，这就是“有时触发有时不触发”的核心原因。

靠谱的修正方案 #

推荐用Python标准库的csv.Sniffer来自动检测分隔符，这是专门干这个活的工具，比自己猜列数靠谱多了：

import csv

def check_comma_separated(self, file):
    with open(file, 'r', newline='', encoding='utf-8') as f:
        # 读取文件前1024字节当样本，足够检测分隔符了
        sample_content = f.read(1024)
        try:
            # 自动检测文件的分隔符规则
            dialect = csv.Sniffer().sniff(sample_content)
            # 断言分隔符必须是逗号
            assert dialect.delimiter == ',', "Not comma separated"
        except csv.Error:
            # 如果连分隔符都检测不出来，直接判定不符合
            raise AssertionError("Not comma separated")

如果你非要用pandas来做，至少要把异常处理修好，最好结合你业务里的预期列数（比如你知道正常CSV应该有5列）：

def check_comma_separated(self, file):
    df = pd.read_csv(file, sep=',')
    # 替换成你实际预期的列数
    expected_col_count = 5
    try:
        assert len(df.columns) == expected_col_count, f"Invalid format: expected {expected_col_count} columns, got {len(df.columns)}"
    except AssertionError as e:
        raise AssertionError(e)

内容的提问来源于stack exchange，提问作者Aaron González