如何按列将DataFrame中超阈值数值替换为阈值下最大值？

问题场景 #

给定如下示例DataFrame：

import pandas as pd
df = pd.DataFrame({
    'A': [10, 18, 30, 40],
    'B': [50, 20, 40, 6]
})

需要实现：指定阈值（如25），按列将所有超过阈值的值替换为该列中小于等于阈值的最大值。

原可行方案（大数据集下性能不足） #

以下代码可实现需求，但通过循环遍历列的方式，在处理大规模DataFrame时会产生较大性能开销：

import numpy as np
cutoff = 25
for col in df:
    ceiling = df[col][ df[col] <= cutoff ].max()
    df[col] = np.where(df[col] > cutoff, ceiling, df[col])

运行结果：

A    B
0  10   20
1  18   20
2  18   20
3  18   6

高效优化实现 #

利用pandas的矢量化操作（底层基于C实现，避免Python循环开销），可一次性完成所有列的计算与替换，大幅提升性能：

import pandas as pd

df = pd.DataFrame({
    'A': [10, 18, 30, 40],
    'B': [50, 20, 40, 6]
})
cutoff = 25

# 1. 一次性计算所有列中≤阈值的最大值
ceilings = df.where(df <= cutoff).max()
# 2. 矢量化替换：将超过阈值的值替换为对应列的ceilings
df = df.where(df <= cutoff, ceilings, axis=1)

运行结果与原方案完全一致，但在大数据集下性能会有显著提升——尤其是当DataFrame的列数或行数极大时，矢量化操作的效率远高于Python层面的列循环。

内容的提问来源于stack exchange，提问作者data-monkey