如何基于参考DataFrame的分类阈值筛选pandas DataFrame行

你当前硬编码拼接条件的写法在规则变多的时候维护成本很高，完全可以通过先匹配阈值、再统一比较的思路实现配置化筛选，后续修改规则只需要调整阈值表df2即可，不需要改动筛选逻辑。 #

方法1：字典映射（写法最简洁，单字段匹配场景性能最优） #

把阈值表df2转换成「分组键->对应阈值」的字典，通过map给原表每一行匹配到对应阈值，直接做布尔筛选即可：

import pandas as pd

# 测试数据
df = pd.DataFrame({'Age': [30, 35, 37, 33, 34, 30],
                  'Name': ['A', 'B', 'B', 'A', 'A', 'B']})
df2 = pd.DataFrame({'Age': [30, 35], 'Name': ['A', 'B']})

# 生成Name到阈值的映射
age_threshold = df2.set_index('Name')['Age'].to_dict()
# 匹配阈值后筛选
res = df.loc[df['Age'] < df['Name'].map(age_threshold), ['Age', 'Name']]
display(res)

运行输出和你硬编码的结果完全一致：

方法2：表关联（适合多维度规则扩展场景） #

如果后续规则不止按Name匹配，还要叠加性别、城市等更多分组维度，用merge关联阈值表的方式扩展性更好：

# 关联时重命名阈值列，避免和原表Age列冲突
df_with_threshold = df.merge(
    df2.rename(columns={'Age': 'age_threshold'}),
    on='Name',
    how='left'
)
# 筛选后移除临时的阈值列
res = df_with_threshold.loc[
    df_with_threshold['Age'] < df_with_threshold['age_threshold'],
    ['Age', 'Name']
]
display(res)

方案优势 #

• 规则维护零代码改动：新增分组、修改阈值只需要编辑df2的内容即可，比如新增Name为C、阈值40的规则，直接给df2追加一行{'Age':40, 'Name':'C'}就能生效，不需要写新的条件判断。
• 逻辑调整成本低：如果后续要把「小于阈值」改成「小于等于/大于阈值」，只需要修改一次比较符，不需要逐个调整每个分组的条件。
• 适配复杂规则：如果要叠加多维度分组、不同比较逻辑，只需要调整阈值表结构和关联字段，核心筛选逻辑不需要重构。

注意：如果原表df里存在df2中没有配置的Name值，这部分行匹配到的阈值是空值，默认会被筛除，如果需要保留这部分数据，可以在map/merge后对空阈值做自定义填充处理。

内容的提问来源于stack exchange，提问作者Blob