求助：如何将df1中小于等于df2对应列的值替换为NaN？

需求描述 #

将DataFrame df1 中所有小于等于DataFrame df2 对应列阈值的值替换为NaN，示例如下：

输入df1 #

| A      | B       | C       |
-------------------------------
0| -0.1   | -0.5    |  3.0    |
1| -0.002 |  0.0037 | -0.06   |
2|  0.25  |  0.0048 |  0.06   |
3|  0.27  | -0.01   |  0.0055 | 

输入df2（阈值表） #

| A    | B      | C      |
-----------------------------------
LessThan| 0.26 | 0.0037 | 0.0055 |

预期输出 #

| A    | B      | C    |
-------------------------
0| nan  | nan    | 3.0  |
1| nan  | nan    | nan  |
2| nan  | 0.0048 | 0.06 |
3| 0.27 | nan    | nan  | 

问题分析 #

你尝试的两种apply方法无法得到正确结果，原因是apply默认按列处理，lambda中的逻辑会将整列与阈值比较后统一替换，而非逐元素判断。

正确实现方法 #

使用pandas的矢量化操作where，直接逐元素对比并替换，效率更高且代码简洁，适合多列场景（比如你的15列数据）：

import pandas as pd
import numpy as np

# 构造示例数据
df1 = pd.DataFrame({
    'A': [-0.1, -0.002, 0.25, 0.27],
    'B': [-0.5, 0.0037, 0.0048, -0.01],
    'C': [3.0, -0.06, 0.06, 0.0055]
})

df2 = pd.DataFrame({
    'A': [0.26],
    'B': [0.0037],
    'C': [0.0055]
}, index=['LessThan'])

# 核心操作：将df1中小于等于对应列阈值的值替换为NaN
result_df = df1.where(df1 > df2.loc['LessThan'], np.nan)

print(result_df)

执行后输出与预期完全一致。

原理说明 #

• df2.loc['LessThan'] 返回一个与df1列名匹配的Series，pandas会自动广播这个Series到df1的整个列维度
• where方法会逐元素检查df1 > df2.loc['LessThan']的布尔条件：
  • 条件为True时，保留df1的原值
  • 条件为False时，替换为指定的np.nan

内容的提问来源于stack exchange，提问作者Gingerhaze