Pandas中df['b']-df['a']计算为何跳过部分行？异常排查求助

问题背景 #

我有一个DataFrame，正在执行20余项创建新列的计算操作。1000行数据里有2行的核心计算（df['c'] = df['b'] - df['a']）结果异常，这两行不相邻，暂时未发现特殊特征，且来自CSV导入的数据部分。

目标计算代码 #

df['c'] = df['b'] - df['a']

异常行数据 #

['a']       ['b']                 ['c']
  0      30.6427984591421           0
  0      9584.28792256921           0

正常行示例 #

['a']                ['b']                 ['c']
  102411.4521      37008.6603          -65402.7918
  202244.75895    211200.2304295         8955.4714795

复现代码 #

a = [0, 0, 102411.4521, 202244.75895]
b = [30.6427984591421, 9584.28792256921, 37008.6603, 211200.2304295]
df = pd.DataFrame(zip(a, b), columns=['a', 'b'])
df['c'] = df['b'] - df['a']

可能的原因分析 #

• 数据类型不匹配：CSV导入时，异常行的a列可能被识别为字符串类型（而非数值型）。当字符串与数值执行减法时，Pandas会尝试将字符串转为数值，若转换失败（比如含隐形字符）可能被强制设为0，最终导致b - 0却得到异常的0结果。可以通过df.dtypes查看列的整体类型，或用df.loc[df['c'] == 0, 'a'].apply(type)检查这两行的具体类型。

• CSV中的隐形字符：原始CSV文件里，这两行的a列的"0"可能带有不可见字符（如全角空格、换行符、制表符或特殊编码字符）。导入后这些字符不会显示，但会导致该单元格被识别为字符串，参与计算时触发异常转换逻辑。可以尝试用df['a'] = df['a'].str.strip()清理字符后重新计算，或直接用文本编辑器打开原始CSV文件查看这两行的原始内容。

• 后续代码覆盖结果：如果在执行减法计算后，还有其他代码对c列进行了修改，可能误将这两行的c值设为0。检查后续的代码逻辑，是否存在针对特定行的赋值、过滤或批量修改操作。

• 特殊数值显示问题：虽然显示为0，但异常行的a列可能是极小的浮点数（如1e-16）或其他特殊数值，不过这种情况通常不会导致计算结果为0。可以用df.loc[df['c'] == 0, ['a', 'b']].round(20)查看这两行数值的精确值，排除显示误差的影响。

内容的提问来源于stack exchange，提问作者tonytone