Python Pandas 如何分别替换字符串nan与空白空值为指定值
两类空值替换失效的核心原因
此前采用的常规pandas列替换逻辑失效,本质是读取csv阶段就已经丢失了两类空值的区分度:
- pandas默认读取csv时,会自动把内容为字符串
'nan'的单元格、完全空白的单元格统一识别为缺失值np.nan - 两类值被合并成完全相同的np.nan类型后,后续替换操作根本无法追溯值的原始来源,无论调换替换顺序,都会出现字符串'nan'被错换成'NA'、空白单元格被错换成'None'的错位问题
你此前参考的通用列替换方案,适用前提是数据中已经能明确区分不同待替换值的类型与来源,本场景由于读取阶段的识别规则冲突,不满足该前提,因此出现替换错位。
正确实现方案
整个处理从读取源头上区分两类空值,再做定向替换,分为两个核心步骤:
- 自定义csv读取规则,从源头拆分两类空值
读取时关闭pandas默认的字符串缺失值识别规则,仅将真正的空白单元格标记为np.nan,保留原字符串'nan'的原生str类型:import pandas as pd import numpy as np df = pd.read_csv( "你的csv文件路径", keep_default_na=False, # 关闭默认的自动缺失值识别(不会把'nan'这类字符串自动转成np.nan) na_values=[""] # 仅把原csv中完全空白的单元格标记为np.nan ) - 按顺序执行定向替换
此时两类值已经从类型上完全区分(字符串'nan'是str类型,空白单元格是np.nan类型),可直接对整个df执行全局替换,无需逐列冗余编码:# 第一步:将保留的原生字符串'nan'替换为'None' df = df.replace("nan", "None") # 第二步:将来自原空白单元格的np.nan缺失值替换为'NA' df = df.fillna("NA")
效果校验
处理后的输出和你给出的预期结果完全匹配:
Col1 Col2 0 neb abc 1 ijd None 2 NA 987 3 2938 NA 4 None 909
注意事项
- 替换顺序不能颠倒:必须先处理str类型的'nan',再处理np.nan类型的缺失值,避免二次混淆
- 如果业务中存在需要保留为np.nan的特殊单元格,可以在
na_values参数里单独补充对应的识别规则,不影响整体替换逻辑 - 如果文件存在多列数据,全局替换逻辑可以覆盖所有列,不需要逐列编写重复的替换代码
内容的提问来源于stack exchange,提问作者mamta_rao
相关产品推荐
相关产品推荐

