Pandas DataFrame基于多可选匹配键合并获取原数据的高效方案

核心思路是将主表的多个身份标识字段转换为统一的匹配映射表，仅需一次合并即可完成关联，完全适配多ID字段、多业务关联字段的场景，避免多次merge补空的冗余操作。 #

基础版实现（满足提取ExtD字段的初始需求） #

第一步先定义配置参数，构造匹配映射表：

import pandas as pd

# 可灵活配置的参数
# 主表中所有身份标识字段，新增ID3、ID4直接追加到列表即可
id_cols = ["ID", "ID2"]
# 主表中需要关联提取的业务字段，新增多个字段直接追加即可
biz_cols = ["ExtD"]

# 生成统一匹配映射表
mapping = df.melt(
    id_vars=biz_cols,
    value_vars=id_cols,
    value_name="match_key"
)[["match_key"] + biz_cols].drop_duplicates(subset="match_key")

第二步执行一次合并得到结果：

df_res = df2.merge(
    mapping,
    left_on="RetID",
    right_on="match_key",
    how="left"
).drop("match_key", axis=1)

运行后输出结果和给出的预期完全一致。 #

进阶版实现（保留主表所有原始ID字段） #

仅需调整映射表构造逻辑，保留主表原始ID字段即可：

# 构造保留原始ID字段的映射表
mapping = df.melt(
    id_vars=biz_cols + id_cols,
    value_vars=id_cols,
    value_name="match_key"
).drop_duplicates(subset="match_key")

# 合并逻辑保持不变
df_res = df2.merge(
    mapping,
    left_on="RetID",
    right_on="match_key",
    how="left"
).drop("match_key", axis=1)

方案优势 #

• 扩展性强：新增ID字段或业务关联字段仅需修改配置列表，无需调整核心合并逻辑，适配任意数量的标识字段场景
• 执行效率高：仅做一次长宽转换和一次合并操作，避免多次merge、空值补全的额外开销，数据量较大时性能提升显著
• 逻辑简洁：代码复用性高，相同场景下无需重复编写多段merge逻辑

内容的提问来源于stack exchange，提问作者Prish