Python多列匹配简化实现：df1匹配df2多列关联X值的方法

针对ID值分散在df2多个ID类列、需要关联对应行X值的需求，完全不需要反复重命名列执行多次左连接，以下两种方法可以大幅简化流程：

方法1：统一构建ID-X映射表（首选方案） #

核心思路：把df2中分散在多列的ID值全部抽取出来，和对应行的X值形成统一的映射对，一次关联完成匹配，从流程上替代多次重命名列的左连接操作。
实现代码：

# 1. 把df2的id1/id2/id3三列堆叠成长格式，生成[ID值, 对应X]的映射对
id_map = df2.melt(
    id_vars='X',
    value_vars=['id1', 'id2', 'id3']
)[['value', 'X']].dropna().drop_duplicates(subset=['value'])

# 2. 一次左连接完成全量匹配
df1_result = df1.merge(
    id_map,
    left_on='ID',
    right_on='value',
    how='left'
).drop(columns=['value'])

运行上述代码的输出结果和你给出的预期结构完全一致。如果后续df2新增id4、id5这类ID类匹配列，只需要把新增列名加入value_vars列表即可，不需要重复编写重命名、关联的重复逻辑。

方法2：预筛选匹配行后重构映射（适合大规模数据集） #

如果数据集规模较大，全量重构df2的映射表会占用较多内存，可以先通过布尔掩码筛选出和df1有任意匹配关系的df2行，再针对小范围的筛选结果构建映射表，减少计算开销：
实现代码：

# 1. 生成只要任意一列ID命中df1就为True的筛选掩码
match_flag = (
    df2['id1'].isin(df1['ID']) |
    df2['id2'].isin(df1['ID']) |
    df2['id3'].isin(df1['ID'])
)

# 2. 筛选命中的行后重构映射表，后续关联逻辑和方法1完全一致
matched_df = df2[match_flag]
id_map = matched_df.melt(
    id_vars='X',
    value_vars=['id1', 'id2', 'id3']
)[['value', 'X']].drop_duplicates(subset=['value'])

df1_result = df1.merge(
    id_map,
    left_on='ID',
    right_on='value',
    how='left'
).drop(columns=['value'])

适配说明 #

• 如果同一个ID值在df2中对应多个X值，当前的drop_duplicates操作会保留遍历到的第一个X值；如果需要固定匹配优先级（比如优先取id1列命中的结果、其次id2列、最后id3列），可以在melt阶段给每个ID列打优先级标签，按标签排序后再去重，即可输出符合优先级规则的匹配结果。
• 对比逐次重命名列左连接的老方案，上述代码没有重复的列名修改、关联逻辑，出错概率更低，维护成本更小。

内容的提问来源于stack exchange，提问作者XYZ_2635