pandas的isnull()函数无法识别CSV导入DataFrame的DOB列缺失值
DOB列缺失值统计为0的排查方案
本质原因是pandas的isnull()只识别内置定义的缺失值格式,你在CSV里肉眼看到的“空单元格”如果不符合这个识别规则,就会被当成正常有效数据,自然统计不出缺失量。
高频踩坑点&对应处理方式
1. 单元格是“假空”:实际为不可见字符/空字符串
这是90%以上同类问题的诱因——CSV导出时,原有的空值被转成了半角空格、全角空格、制表符或者纯空字符串,肉眼看和未填写的空单元格完全没区别,但对pandas来说是正常字符串值,不算缺失。
首先跑这段代码确认实际内容:
# 直接打印DOB列所有不重复值,就能看到所谓的“空”到底是什么 print(df['DOB'].unique())
如果输出里的“空值”是上述不可见字符/空字符串,二选一处理即可:
- 读取阶段直接兼容:用
pd.read_csv时通过na_values参数把自定义空格式纳入缺失值识别范围
df = pd.read_csv( "你的CSV文件路径", na_values=["", " ", " ", "\t"] # 可以按需追加文件里实际存在的占位符,比如'-'、'--'、'无' )
- 读取完成后单独清洗:不想改全局读取规则的话,直接对DOB列用正则匹配批量替换所有纯空白内容为缺失值
import pandas as pd # 匹配所有全由空白字符组成的字符串,替换为pandas可识别的缺失值 df['DOB'] = df['DOB'].replace(r'^\s*$', pd.NA, regex=True) # 再次统计就能得到正确的缺失值数量 print(df['DOB'].isnull().sum())
2. 读取参数配置错误
如果之前写read_csv代码时误加了keep_default_na=False参数,pandas会完全关闭内置的缺失值自动识别功能,所有空内容都会被当成普通字符串处理,把这个参数删掉或者改回keep_default_na=True即可。
3. 日期解析生成了占位默认值
如果读取时给DOB列加了日期解析规则(比如parse_dates=['DOB']),部分业务系统导出CSV时,空日期会被自动转成固定占位日期(比如1900-01-01、1970-01-01),这种情况打印DOB列前20条就能看到大量重复的固定日期,把这类固定日期也加到na_values的识别列表里即可。
内容的提问来源于stack exchange,提问作者Nish
相关产品推荐
相关产品推荐

