如何在Pandas中实现可动态调整阈值的DataFrame过滤？

我有如下结构的DataFrame：

+----+---------+---------+
|    |   Count |   Value |
|----+---------+---------|
|  0 |      10 |     0.5 |
|  1 |      17 |     0.9 |
|  2 |      56 |     0.6 |
|  3 |      25 |     0.7 |
|  4 |      80 |     0.7 |
|  5 |     190 |     0.6 |
|  6 |       3 |     0.8 |
|  7 |      60 |     0.5 |
+----+---------+---------+

需要按规则过滤：Count值越小，对应的Value阈值越高。阈值依赖关系示例为dict({100:0.5, 50:0.6, 40:0.7, 20:0.75, 10:0.8})，具体规则：

• 当Count≥100时，Value只需≥0.5
• 当Count在10-19之间时，Value需≥0.8

我可以通过硬编码条件实现过滤：

df[((df["Count"]>=100) & (df["Value"]>=0.5)) |
   ((df["Count"]>=50) & (df["Value"]>=0.6)) |
   ((df["Count"]>=40) & (df["Value"]>=0.7)) |
   ((df["Count"]>=20) & (df["Value"]>=0.75)) |
   ((df["Count"]>=10) & (df["Value"]>=0.8))]

过滤结果：

+----+---------+---------+
|    |   Count |   Value |
|----+---------+---------|
|  1 |      17 |     0.9 |
|  2 |      56 |     0.6 |
|  4 |      80 |     0.7 |
|  5 |     190 |     0.6 |
+----+---------+---------+

但我希望能定期修改阈值（包括增删阈值步骤），无需频繁修改过滤代码。请问如何在Pandas中实现该需求？

最小可复现示例（MWE） #

import pandas as pd

df = pd.DataFrame({
    "Count":[10,17,56,25,80,190,3,60],
    "Value":[0.5,0.9,0.6,0.7,0.7,0.6,0.8,0.5]
})

limits = dict({100:0.5, 50:0.6, 40:0.7, 20:0.75, 10:0.8})

R语言等效实现 #

在R中可以通过以下代码实现类似需求，但不知如何适配到Pandas：

library(data.table)

set.seed(33)

df = data.table(CPE=sample(1:500, 100), 
                PERC=runif(min = 0.1, max = 1, n=100))    
lst1 <- list(c(20, 0.95), c(50, 0.9), c(100,0.85), c(250,0.8))

df[Reduce(`|`, lapply(lst1, \(x) CPE > x[1] & PERC > x[2]))]

可以参考R的思路，通过动态生成并组合条件的方式实现，无需硬编码每个阈值规则，以下是两种可行方法：

方法1：模拟R的Reduce+遍历逻辑 #

将阈值字典按Count从大到小排序（避免逻辑冲突），遍历生成每个阈值对应的布尔条件，最后用|组合所有条件：

import pandas as pd

df = pd.DataFrame({
    "Count":[10,17,56,25,80,190,3,60],
    "Value":[0.5,0.9,0.6,0.7,0.7,0.6,0.8,0.5]
})

limits = dict({100:0.5, 50:0.6, 40:0.7, 20:0.75, 10:0.8})

# 按Count阈值从大到小排序，确保规则逻辑正确
sorted_limits = sorted(limits.items(), key=lambda x: -x[0])

# 生成所有条件列表
conditions = []
for count_thresh, value_thresh in sorted_limits:
    cond = (df["Count"] >= count_thresh) & (df["Value"] >= value_thresh)
    conditions.append(cond)

# 组合所有条件
final_condition = conditions[0]
for cond in conditions[1:]:
    final_condition |= cond

# 过滤DataFrame
filtered_df = df[final_condition]
print(filtered_df)

输出结果：

Count  Value
1     17    0.9
2     56    0.6
4     80    0.7
5    190    0.6

方法2：用pd.cut映射阈值 #

通过pd.cut将Count值匹配到对应的Value阈值，直接比较Value是否满足要求，逻辑更直观：

import pandas as pd

df = pd.DataFrame({
    "Count":[10,17,56,25,80,190,3,60],
    "Value":[0.5,0.9,0.6,0.7,0.7,0.6,0.8,0.5]
})

limits = dict({100:0.5, 50:0.6, 40:0.7, 20:0.75, 10:0.8})

# 整理Count阈值区间，添加极小值覆盖所有小于最小阈值的情况
count_bins = sorted(limits.keys(), reverse=True) + [-float('inf')]
# 对应每个区间的Value阈值
value_thresholds = [limits[thresh] for thresh in sorted(limits.keys(), reverse=True)] + [float('inf')]

# 为每个Count值匹配对应的要求阈值
df['required_value'] = pd.cut(df['Count'], bins=count_bins, labels=value_thresholds, right=False)

# 过滤并删除辅助列
filtered_df = df[df['Value'] >= df['required_value']].drop('required_value', axis=1)
print(filtered_df)

输出结果与方法1一致。

说明 #

两种方法都只需维护limits字典，增删阈值规则时直接修改字典即可，无需改动核心过滤代码；注意必须按Count阈值从大到小排序，确保每个Count值匹配到正确的规则区间。

内容的提问来源于stack exchange，提问作者Marco_CH