如何从Pandas DataFrame提取至少一个值大于数组中任意值的行？

问题描述 #

现有如下Pandas DataFrame：

mba_p   ssc_p   hsc_p   degree_p etest_p    
0   58.80   67.00   91.00   58.00   55.0
1   66.28   79.33   78.33   77.48   86.5
2   57.80   65.00   68.00   64.00   75.0
3   59.43   56.00   52.00   52.00   66.0
4   55.50   85.80   73.60   73.30   96.8
... ... ... ... ... ...
210 74.49   80.60   82.00   77.60   91.0
211 53.62   58.00   60.00   72.00   74.0
212 69.72   67.00   67.00   73.00   59.0
213 60.23   74.00   66.00   58.00   70.0
214 60.22   62.00   58.00   53.00   89.0

需要提取所有至少有一个值大于阈值列表中对应列阈值的行（阈值列表为各列的75百分位数：[66.255, 75.7, 73.0, 72.0, 83.5]，列表元素顺序与DataFrame列顺序一一对应）。例如第一行符合条件，因为hsc_p列的91.00大于对应阈值73.0，同时ssc_p列的67.00大于mba_p列的阈值66.255。

解决方案 #

方法1：逐列对应阈值判断 #

利用Pandas的广播特性，将DataFrame与阈值列表直接比较生成布尔矩阵，再通过any(axis=1)判断每行是否至少有一个符合条件的值，最后用布尔序列过滤原数据。

代码示例：

import pandas as pd

# 假设你的DataFrame名为df
thresholds = [66.255, 75.7, 73.0, 72.0, 83.5]

# 生成布尔掩码：每行是否存在至少一个值大于对应列的阈值
mask = (df > thresholds).any(axis=1)

# 过滤得到结果
filtered_df = df[mask]

方法2：行内任意值大于阈值列表中任意值 #

如果实际需求是只要行内存在任意一个值，比阈值列表里的任意一个值大（无需对应列），可以简化为判断行内是否有值大于阈值列表的最大值（因为大于最大值必然大于列表中所有其他值）：

thresholds = [66.255, 75.7, 73.0, 72.0, 83.5]
max_threshold = max(thresholds)

# 只要行内有值大于阈值最大值，即满足条件
mask = df.gt(max_threshold).any(axis=1)
filtered_df = df[mask]

逻辑验证 #

以第一行为例：

• 方法1中，df.iloc[0] > thresholds得到[False, False, True, False, False]，any(axis=1)返回True，该行被保留。
• 方法2中，阈值最大值为83.5，第一行hsc_p列的91.0>83.5，mask返回True，该行被保留。

内容的提问来源于stack exchange，提问作者Cat_Dog