Pandas合并问题：多DataFrame合并后列名重复如何解决？

你遇到的bar_x、bar_y这类重复列问题，本质是每次merge时都把整个待合并DataFrame和已有DataFrame做了全列合并——如果待合并的DataFrame里包含已有DataFrame已经存在的非合并键列（比如bar、baz），Pandas就会自动给重复列加上_x、_y后缀来区分。要解决这个问题，核心思路是只合并新的列，避免重复添加已有列。

下面给你两种实用的解决方案：

方案一：过滤新列后再合并（推荐） #

这种方法会在每次合并前，先筛选出待合并DataFrame中已有结果里没有的列，只保留这些新列和合并键（比如id），再执行合并，从根源避免重复列。

假设你已经把所有文件的DataFrame读取到了列表all_dfs中，代码示例如下：

import pandas as pd

# 假设all_dfs是你读取的所有DataFrame的列表
all_dfs = [...]  # 替换成你的实际数据

# 初始化合并结果：用第一个DataFrame作为基础
merged_df = all_dfs[0].copy()

# 循环处理剩余的每个DataFrame
for t_df in all_dfs[1:]:
    # 找出当前DataFrame中，合并结果里还没有的列（排除合并键id）
    new_columns = [col for col in t_df.columns if col not in merged_df.columns and col != 'id']
    # 只保留id和新列，避免重复列被带入合并
    df_to_merge = t_df[['id'] + new_columns]
    # 执行outer合并，确保所有id都被保留
    merged_df = pd.merge(merged_df, df_to_merge, how='outer', on='id')

# 可选：重置索引，让结果更整洁
merged_df = merged_df.reset_index(drop=True)

方案二：先拼接再聚合（适合存在重复数据的场景） #

如果你的不同DataFrame中，同一个id的同一列可能存在重复数据（比如某条id的bar值在两个文件里都有，需要合并非空值），可以用concat+groupby的方式：

import pandas as pd

# 把所有DataFrame都设置id为索引，方便对齐
dfs_indexed = [df.set_index('id') for df in all_dfs]
# 按列拼接所有DataFrame
concatenated = pd.concat(dfs_indexed, axis=1)
# 对每一列按列名分组，取第一个非空值（如果需要其他逻辑可以替换first()，比如mean()取均值）
merged_df = concatenated.groupby(level=0, axis=1).first().reset_index()

额外提醒 #

如果你的DataFrame中存在重复的id（比如同一个id出现多次），建议先对每个DataFrame做去重或聚合处理（比如df.drop_duplicates(subset='id')），否则合并后会出现大量重复行，影响结果准确性。

内容的提问来源于stack exchange，提问作者ifly6