dataframe中如何不删除NA/Infinity值，仅在计算时将其忽略？

核心前提 #

pandas 内置的绝大多数统计计算方法，默认就会自动跳过所有被标记为缺失值（NaN）的条目。需要注意pandas默认不会将正负Infinity识别为缺失值，只要把这类值统一标记为NaN，就可以完全实现“计算时自动排除、无需逐列判断”的效果，不需要写冗余的全列遍历逻辑。

第一步：统一标记所有需要排除的值 #

有两种适配不同场景的实现方式，性能均适配百万行级别的数据集：

• 全局配置法（适合当前会话下所有DataFrame都需要识别Infinity为异常值的场景）：
  直接开启pandas全局参数，框架底层会自动把正负Infinity识别为缺失值，无需手动修改原始数据：
  pd.set_option('mode.use_inf_as_na', True)
  开启后，df.isna()生成的布尔掩码会同时覆盖所有原本的NaN和Infinity位置，这个掩码就是你需要的“异常值标记”。
• 单DataFrame显式替换法（适合不想影响全局其他数据处理逻辑的场景）：
  直接将当前DataFrame里的正负Infinity替换为NaN，效果和全局配置一致，仅作用于当前表：

  import numpy as np
  df.replace([np.inf, -np.inf], np.nan, inplace=True)
  # 同样生成覆盖所有异常值的标记掩码
  na_mask = df.isna()
  

第二步：统计计算时自动排除异常值 #

完成上述标记后，所有内置统计方法不需要额外加判断逻辑，就会自动跳过异常值：

• 常规统计：df.mean()、df.median()、df.mode()等方法默认开启skipna=True参数，计算时自动排除标记的异常值，不会把异常值纳入计算范围，也不会因为存在异常值返回无意义的结果。
• 自定义复杂计算：如果需要自己写聚合逻辑，直接使用第一步生成的na_mask过滤数据即可，不需要重新遍历判断异常值：

  # 示例：对指定列计算自定义统计量，自动排除异常值
  target_col = '你的目标列名'
  valid_data = df[target_col][~na_mask[target_col]] # 取标记为非异常的有效数据
  # 后续所有对valid_data的计算都不会包含NaN/Infinity
  

补充说明 #

• 不需要手动逐列遍历判断异常值：上述两种实现都是在pandas底层完成标记，对比逐列循环判断的方式性能损耗极低，完全适配100万行、80列的数据集规模。
• 如果需要统计每列的异常值占比/数量，可以直接用na_mask.sum()获取每列的异常值计数，不需要重新跑全表扫描。

内容的提问来源于stack exchange，提问作者Denis Vecchiato