Pandas中无逐列循环快速移除DataFrame列极端百分位的实现方案

实现思路 #

自定义中间百分位区间的核心计算逻辑非常直接：以n%的中间区间为例，只需要对每一列同时计算两个分位值作为上下边界——两侧各切除(100%-n%)/2的极端值即可，比如：

• 中间70%区间：取15%分位数为下边界，85%分位数为上边界，两端各切掉15%的极端值
• 中间90%区间：取5%分位数为下边界，95%分位数为上边界，两端各切掉5%的极端值

pandas原生的分位数计算方法本身就是向量化实现，不需要手动写for循环逐列迭代，完全适配133列、10000行的数据集规模，哪怕数据量提升一个量级也能保持稳定性能。之前接触的单侧截断实现只考虑了单个边界的筛选，只要把上下两个边界值提前计算完成，依托pandas的广播机制，完全可以一步完成双向筛选，不存在“单侧方法无法适配双向需求”的限制。

可直接复用的代码片段 #

1. 批量提取所有列的区间上下边界 #

import pandas as pd
import numpy as np

# 配置需要计算的中间区间比例，0.7对应中间70%，0.9对应中间90%
mid_interval = 0.7

# 计算单侧需要切除的尾部比例
tail_cut_ratio = (1 - mid_interval) / 2

# 沿行方向批量计算所有列的分位数，一次生成全列的边界值
lower_bounds = df.quantile(q=tail_cut_ratio, axis=0)
upper_bounds = df.quantile(q=1 - tail_cut_ratio, axis=0)

# 拼接为结构化的边界对照表，可直接用于库存备货参考
ci_table = pd.DataFrame({
    "per_col_lower_bound": lower_bounds,
    "per_col_upper_bound": upper_bounds
})

这里的axis=0参数会让pandas沿行维度做计算，也就是对每一列独立完成分位数计算，从底层避免了手动逐列循环的冗余逻辑。

2. 批量过滤双向区间外的极端值 #

如果需要剔除超出边界的异常值，同样依托pandas的广播机制完成无循环操作：

# 自动对齐每列的边界值，逐元素生成是否落在区间内的布尔掩码
out_of_bound_mask = (df >= lower_bounds) & (df <= upper_bounds)
# 把区间外的值替换为空值，或是基于掩码过滤出符合要求的数据集
df_cleaned = df.where(out_of_bound_mask)

上述操作没有任何手动编写的逐列循环，pandas会自动将按列生成的边界值与原DataFrame的对应列做匹配比较，计算效率远高于逐列迭代的实现方式。

适配库存场景的细节调整 #

• 库存备货数据通常是离散的整数备货量，如果不需要分位数做线性插值，可以给quantile方法增加interpolation="nearest"参数，直接取距离目标分位最近的实际样本值作为边界，结果更贴合实际备货参考
• 计算过程中pandas会自动跳过列中的空值，不需要提前做缺失值预处理
• 不需要拆分两次单侧筛选的逻辑，一次向量化比较就能完成双向边界判断

内容的提问来源于stack exchange，提问作者Jake144