如何高效实现Pandas DataFrame多列关联df_demog数据

你目前仅完成了compar1列与df_demog的关联，但想要一次性为6个compar列分别匹配df_demog中的gender、vm、age信息，无需重复编写6次join语句的话，可以通过宽表转长表合并再转回宽表的方式实现，具体步骤如下：

预期输出结构 #

最终结果会保留原df的6个compar列，同时新增每个列对应的gender、vm、age字段，示例结构如下：

代码实现 #

import pandas as pd

# 初始化原数据
df = pd.DataFrame({
    'compar1': [1],
    'compar2': [2],
    'compar3': [3],
    'compar4': [4],
    'compar5': [5],
    'compar6': [6]
})

df_demog = pd.DataFrame({
    'EID': [1,2,3,4,5,6],
    'gender': ['m','w','m','m','y','m'],
    'vm': ['y','n','y','n','y','n'],
    'age': [22,33,54,53,22,12]
})

# 1. 将df转成长格式，保留索引用于后续对齐
df_melted = df.melt(var_name='compar_col', value_name='EID', ignore_index=False)

# 2. 一次性关联所有demog数据
merged = df_melted.merge(df_demog, on='EID', how='left')

# 3. 将合并后的长表转回宽格式，拆分出每个compar列对应的demog字段
df_demog_wide = merged.pivot(
    index=merged.index,
    columns='compar_col',
    values=['gender', 'vm', 'age']
).reset_index(drop=True)

# 调整列名格式，让字段对应关系更清晰
df_demog_wide.columns = [f'{val}_{col}' for col, val in df_demog_wide.columns]

# 4. 拼接原数据与处理后的demog宽表，得到最终结果
df_out = pd.concat([df, df_demog_wide], axis=1)
print(df_out)

代码说明 #

• 宽转长：通过melt把6个compar列转换为「列名-EID」的长格式，保留原索引确保后续能和原数据精准对齐。
• 单次关联：仅用一次merge操作，就完成所有EID与demog信息的匹配，避免重复编写关联逻辑。
• 长转宽：用pivot把每个compar列对应的demog信息展开为独立列，再调整列名让字段对应关系更直观。
• 结果拼接：将原数据与处理后的demog宽表横向拼接，得到符合预期的完整输出。

内容的提问来源于stack exchange，提问作者jas