pandas中如何高效对比两个DataFrame并替换超出阈值范围的异常值

你原来的方案存在两个核心性能瓶颈：

• Python层面的for循环遍历指标，列数越多开销越大
• 每次循环都通过loc匹配查询指标范围，重复查询损耗高

我们可以通过字典预映射+向量化操作完全规避上述问题，处理百万行级数据时效率比原循环方案提升数十到上百倍：

实现代码 #

import pandas as pd
import numpy as np

# 1. 预将指标范围转为字典，查询复杂度O(1)
range_dict = labs_range.set_index('Lab').to_dict('index')

# 2. 取两个表共有的指标列，避免不存在的列报错
common_cols = labs.columns.intersection(range_dict.keys())

# 3. 全向量化条件判断，无Python层面循环开销
labs[common_cols] = labs[common_cols].where(
    (labs[common_cols] >= pd.Series({col: range_dict[col]['low'] for col in common_cols})) &
    (labs[common_cols] <= pd.Series({col: range_dict[col]['high'] for col in common_cols}))
)

如果指标列数不多，想要更简洁的写法也可以用下面的方案，性能也远高于原实现：

range_dict = labs_range.set_index('Lab').to_dict('index')
common_cols = labs.columns.intersection(range_dict.keys())

for col in common_cols:
    low, high = range_dict[col]['low'], range_dict[col]['high']
    # mask方法：满足条件时替换为NaN，逻辑更直观
    labs[col] = labs[col].mask((labs[col] < low) | (labs[col] > high))

效果验证 #

上述两种方案输出结果和你原循环实现的结果完全一致，不在labs_range里的指标（如示例中的Calcium）不会被修改，完全符合需求。

内容的提问来源于stack exchange，提问作者Sam