Python中将负数转换为NaN时出现数据减少问题的原因

Python数据处理场景下，发现数据集内存在负数（推测为问卷缺失值被替换为负数编码），计划将所有负数转换为NaN后开展后续分析，执行如下代码后发现数据量出现异常减少：

for i, j in itertools.product(nothing_1, range(-9, 0)):
    df_orign[i].replace(j, np.NaN, inplace = True)

代码中nothing_1为DataFrame的列标签集合，df_orign为待处理的原始DataFrame对象。

• 核心诱因是链式索引+inplace操作的已知bug：当你使用df_orign[i].replace(..., inplace=True)写法时，本质是先取出列得到一个Series副本，再在副本上做inplace修改，pandas无法保证这个修改能正确写回原DataFrame；在1.4.0之前的pandas版本中，这种写法遇到索引不完全对齐的情况时，会直接丢弃无法匹配的行，最终导致整体数据量减少。
• 循环写法放大了异常概率：当前代码通过双重循环逐列、逐值（-9到-1共9个数值）做替换，总迭代次数为「目标列数*9」，大量重复的链式inplace操作会大幅提升数据丢失的触发概率，同时运行效率极低。
• 额外逻辑漏洞：如果数据中存在-10、-99这类不在range(-9,0)范围内的缺失编码值，当前代码完全无法覆盖，会残留无效值干扰后续计算。

不要用循环逐值替换，直接用pandas内置的向量化方法完成替换，从根源上规避链式操作的问题：

1. 如果要把所有负数统一替换为NaN（适配你“所有负数都是缺失值”的推测），用mask方法效率最高：

import numpy as np
# 直接选中目标列，将所有小于0的值替换为NaN后赋值回原位置
df_orign[nothing_1] = df_orign[nothing_1].mask(df_orign[nothing_1] < 0, np.NaN)

2. 如果确实只需要替换-9到-1这几个固定编码值，直接给replace传替换映射字典即可，无需写循环：

import numpy as np
replace_dict = {val: np.NaN for val in range(-9, 0)}
df_orign[nothing_1] = df_orign[nothing_1].replace(replace_dict)

提示：pandas官方不推荐在链式索引后使用inplace=True参数，这类写法不仅稳定性差，还会触发SettingWithCopyWarning，最稳妥的方式是将处理后的结果直接赋值回原DataFrame的对应列/行位置。

内容的提问来源于stack exchange，提问作者阿黄黄啊