Pandas中参照df2校验df1订阅区域有效性并新增列的优化方案咨询

你当前的np.select实现可以满足基础需求，但硬编码了所有区域的判断逻辑，后续新增/调整区域时需要手动修改条件和返回值列表，维护成本高，代码冗余度也高。以下是两种更易维护、性能更优的实现方案：

方案1：映射集合查找（中小数据量优先，代码极简） #

实现逻辑 #

提前把区域对应国家转成集合（提升查找效率），仅需维护一份alias和df2列名的映射表即可，新增区域无需修改核心逻辑：

# 1. 仅需维护这一份alias与df2列名的映射关系，后续调整/新增区域直接修改该字典
zone_alias_mapping = {
    "Z1": "Zone 1",
    "Z2": "Zone 2",
    "Z3": "Zone 3"
}

# 2. 预处理生成每个alias对应的大写国家集合，自动适配映射表配置
zone_country_set = {}
for alias, df2_col in zone_alias_mapping.items():
    zone_country_set[alias] = set(df2[df2_col].dropna().str.upper())

# 3. 批量校验，一行完成逻辑
df1["valid_country"] = df1.apply(
    lambda row: row["country"].upper() in zone_country_set[row["alias3"]],
    axis=1
)

优缺点 #

• 优点：代码非常简洁，逻辑直观，调整区域规则仅需修改映射字典
• 缺点：apply在百万级以上大样本下性能略低于向量化操作

方案2：宽表转长表后merge（大数据量优先，性能最优） #

实现逻辑 #

把df2的宽表结构转成「国家-订阅alias」的长表结构，直接通过pandas原生merge操作匹配，全程是向量化运算，性能拉满：

import pandas as pd

# 1. df2宽表转长表，预处理出所有允许的[国家-订阅alias]合法组合
df2_valid = df2.melt(var_name="zone_col", value_name="country")\
    .dropna(subset=["country"])\
    .assign(
        country = lambda x: x["country"].str.upper(),
        alias3 = lambda x: x["zone_col"].map({"Zone 1": "Z1", "Zone 2": "Z2", "Zone 3": "Z3"}),
        valid_country = True
    )\
    .drop(columns=["zone_col"])

# 2. 左连接匹配合法组合，未匹配到的默认标记为False
df1 = df1.assign(country_upper = lambda x: x["country"].str.upper())\
    .merge(df2_valid, left_on=["country_upper", "alias3"], right_on=["country", "alias3"], how="left")\
    .fillna({"valid_country": False})\
    .drop(columns=["country_upper", "country_y"])\
    .rename(columns={"country_x": "country"})

优缺点 #

• 优点：纯向量化操作，大数据量下性能远高于apply和硬编码的np.select，后续新增区域无需修改核心逻辑
• 缺点：代码量略多于方案1，需要理解reshape和merge的逻辑

内容的提问来源于stack exchange，提问作者Seamus McMillen