pandas用==判断None失效原因及None、pd.NA、NaN区别咨询

问题根因 #

1. 替换后的存储转换：你调用df.replace('NONE', None)时，pandas默认会将None自动转换为np.nan存储，只有使用可空数据类型（如Int64、string）时才会保留pd.NA。
2. 缺失值的比较规则：pandas的矢量化比较遵循三值逻辑，所有类型的缺失值（np.nan、pd.NA、object列中存储的None）和任意值做==比较时，返回结果永远是False，哪怕是缺失值和自身比较也不例外。这就是原生Python中None == None返回True，但在pandas判断中失效的核心原因。
3. is pd.NA生效的原因：pd.NA是单例对象，is判断的是内存地址是否一致，不触发pandas的矢量化比较逻辑，因此可以匹配到pd.NA类型的缺失值，但该方法对np.nan、object列的None无效，不适合作为通用判断方案。

正确实现方法 #

不需要手动遍历单元格，pandas内置的isna()函数可以一次性判断所有单元格是否为缺失值，统计和列筛选都可以一步完成，性能远高于双层循环：

import pandas as pd
import numpy as np

df = pd.DataFrame(np.array([['B',1,3.4], ['A','NONE',8.9],['C',3,4.6]]), 
    columns=['Part','Quantity','Cost'])

# 替换'NONE'为统一的缺失值标识
df.replace('NONE', pd.NA, inplace=True)

# 统计总缺失值数量
count = df.isna().sum().sum()
# 提取存在缺失值的列
columns_with_missing = df.columns[df.isna().any()].tolist()

print(count)
print(columns_with_missing)

运行后会输出你预期的1和['Quantity']。

适配sklearn回归的数据清洗建议 #

sklearn的所有模型默认不接受缺失值，你需要提前处理：

• 数值类型列：如果缺失占比低于10%可以直接删除对应行，否则可以用SimpleImputer填充均值、中位数；如果缺失有业务含义，可以额外新增一列0/1标识该列是否缺失。
• 分类类型列：可以填充众数，或者将缺失值作为单独的分类维度处理。

内容的提问来源于stack exchange，提问作者user9895485