Pandas DataFrame两列按阈值替换值的高效实现方法咨询

针对你需要对Amount和Amount2两列设置阈值（大于2），将未达标值替换为0的需求，完全不需要拆分合并DataFrame，用Pandas的矢量化操作就能高效实现，以下是几种简洁的方案：

方法1：使用df.where() #

where()方法会保留满足条件的元素，将不满足条件的元素替换为指定值，非常贴合你的需求：

import pandas as pd

df = pd.DataFrame({
    "User": ["user1", "user2", "user2", "user3", "user2", "user1"],
    "Amount": [10.0, 1.0, 8.0, 2, 7.5, 8.0],
    "Amount2": [1, 5.0, 8.0, 10.5, 0, 8.0]
})

# 针对指定列应用阈值替换
df[["Amount", "Amount2"]] = df[["Amount", "Amount2"]].where(df[["Amount", "Amount2"]] > 2, 0)
print(df)

输出结果：

User  Amount  Amount2
0  user1    10.0      0.0
1  user2     0.0      5.0
2  user2     8.0      8.0
3  user3     0.0     10.5
4  user2     7.5      0.0
5  user1     8.0      8.0

方法2：使用numpy.where() #

如果需要更灵活的条件逻辑，也可以结合numpy.where()实现：

import pandas as pd
import numpy as np

df = pd.DataFrame({
    "User": ["user1", "user2", "user2", "user3", "user2", "user1"],
    "Amount": [10.0, 1.0, 8.0, 2, 7.5, 8.0],
    "Amount2": [1, 5.0, 8.0, 10.5, 0, 8.0]
})

# 对每一列单独处理
df["Amount"] = np.where(df["Amount"] > 2, df["Amount"], 0)
df["Amount2"] = np.where(df["Amount2"] > 2, df["Amount2"], 0)
print(df)

这个方法和where()效果一致，适合需要对不同列设置不同阈值的场景。

方法3：使用df.mask() #

mask()是where()的反向操作，会替换满足条件的元素，所以需要取反阈值条件：

import pandas as pd

df = pd.DataFrame({
    "User": ["user1", "user2", "user2", "user3", "user2", "user1"],
    "Amount": [10.0, 1.0, 8.0, 2, 7.5, 8.0],
    "Amount2": [1, 5.0, 8.0, 10.5, 0, 8.0]
})

df[["Amount", "Amount2"]] = df[["Amount", "Amount2"]].mask(df[["Amount", "Amount2"]] <= 2, 0)
print(df)

为什么这些方法更高效？ #

这些都是Pandas的矢量化操作，直接在整个列上进行批量计算，避免了循环或者拆分合并带来的额外开销，处理大型数据集时性能优势会非常明显。

内容的提问来源于stack exchange，提问作者Lucky sardar