Pandas按不同变量值匹配对应年份规则筛选DataFrame行
Pandas 按变量列实现差异化年份筛选
针对给定的长表结构DataFrame,需要按照variable列的取值应用不同的年份筛选规则,核心规则拆解如下:
- 当
variable属于指定列表var = ['a', 'b']时,仅保留year为2020、2030的行 - 当
variable不属于上述列表时,保留year为2020、2030、2040的行
方案1:布尔掩码拼接(适合简单规则场景)
该方案逻辑和需求完全一一对应,不存在分组操作带来的索引错位问题,出错概率低,适合规则固定的快速筛选场景。
具体实现代码:
import pandas as pd # 复现示例原始数据 df = pd.DataFrame({ "id": [1] * 12, "variable": ["a"] * 4 + ["b"] * 4 + ["c"] * 4, "year": [2020, 2030, 2040, 2050] * 3 }) var_target = ["a", "b"] # 拆分两个筛选条件,最终取条件并集 # 条件1:目标列表内的变量匹配指定保留年份 mask_in_target = df["variable"].isin(var_target) & df["year"].isin([2020, 2030]) # 条件2:目标列表外的其他变量匹配指定保留年份 mask_not_in_target = ~df["variable"].isin(var_target) & df["year"].isin([2020, 2030, 2040]) # 合并条件完成筛选,重置索引得到最终结果 df_filtered = df[mask_in_target | mask_not_in_target].reset_index(drop=True)
方案2:分组映射规则筛选(适合多规则扩展场景)
该方案将筛选规则和核心代码分离,后续调整筛选条件时仅需要修改规则配置内容,不需要改动核心筛选逻辑,适合多变量、多差异化规则的复杂筛选场景。
具体实现代码:
# 预配置筛选规则:键为variable值,值为对应需保留的年份列表 # _default为所有未单独配置的变量对应的通用规则 year_rule_map = { "a": [2020, 2030], "b": [2020, 2030], "_default": [2020, 2030, 2040] } def filter_group_by_rule(group_df): current_var = group_df["variable"].iloc[0] # 匹配对应规则,没有单独配置的变量走默认规则 keep_years = year_rule_map.get(current_var, year_rule_map["_default"]) return group_df[group_df["year"].isin(keep_years)] # 按variable分组后逐组应用筛选规则,关闭分组键避免引入额外列 df_filtered = df.groupby("variable", group_keys=False).apply(filter_group_by_rule)
内容的提问来源于stack exchange,提问作者Ankur
相关产品推荐
相关产品推荐

