You need to enable JavaScript to run this app. pandas的isnull()函数无法识别CSV导入DataFrame的DOB列缺失值
优惠活动
大模型
产品
解决方案
定价
更多

pandas的isnull()函数无法识别CSV导入DataFrame的DOB列缺失值

DOB列缺失值统计为0的排查方案

本质原因是pandas的isnull()只识别内置定义的缺失值格式,你在CSV里肉眼看到的“空单元格”如果不符合这个识别规则,就会被当成正常有效数据,自然统计不出缺失量。

高频踩坑点&对应处理方式

1. 单元格是“假空”:实际为不可见字符/空字符串

这是90%以上同类问题的诱因——CSV导出时,原有的空值被转成了半角空格、全角空格、制表符或者纯空字符串,肉眼看和未填写的空单元格完全没区别,但对pandas来说是正常字符串值,不算缺失。
首先跑这段代码确认实际内容:

# 直接打印DOB列所有不重复值,就能看到所谓的“空”到底是什么
print(df['DOB'].unique())

如果输出里的“空值”是上述不可见字符/空字符串,二选一处理即可:

  • 读取阶段直接兼容:用pd.read_csv时通过na_values参数把自定义空格式纳入缺失值识别范围
df = pd.read_csv(
    "你的CSV文件路径",
    na_values=["", " ", " ", "\t"]  # 可以按需追加文件里实际存在的占位符,比如'-'、'--'、'无'
)
  • 读取完成后单独清洗:不想改全局读取规则的话,直接对DOB列用正则匹配批量替换所有纯空白内容为缺失值
import pandas as pd
# 匹配所有全由空白字符组成的字符串,替换为pandas可识别的缺失值
df['DOB'] = df['DOB'].replace(r'^\s*$', pd.NA, regex=True)
# 再次统计就能得到正确的缺失值数量
print(df['DOB'].isnull().sum())

2. 读取参数配置错误

如果之前写read_csv代码时误加了keep_default_na=False参数,pandas会完全关闭内置的缺失值自动识别功能,所有空内容都会被当成普通字符串处理,把这个参数删掉或者改回keep_default_na=True即可。

3. 日期解析生成了占位默认值

如果读取时给DOB列加了日期解析规则(比如parse_dates=['DOB']),部分业务系统导出CSV时,空日期会被自动转成固定占位日期(比如1900-01-01、1970-01-01),这种情况打印DOB列前20条就能看到大量重复的固定日期,把这类固定日期也加到na_values的识别列表里即可。

内容的提问来源于stack exchange,提问作者Nish

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.21 08:45:03