如何解决Python合并4个及以上DataFrame的重复列报错

问题根源 #

你遇到的警告是因为合并超过3个DataFrame时，Pandas默认的_x/_y后缀会重复生成，导致列名冲突。比如第三次合并时，已有的Close_x会和新DF的Close再次生成重复命名的列，这在未来版本会直接触发报错。

推荐解决方案：先重命名列再合并 #

给每个DataFrame的非Date列添加唯一标识（比如序号、标的代码），确保所有列名唯一后再按Date合并，彻底避免列名冲突。

代码示例：

import pandas as pd
from functools import reduce

# 遍历DataFrame列表，给每个DF的非Date列添加唯一后缀
renamed_portfolio = []
for idx, df in enumerate(portfolio_all):
    # 构造新列名：Date保留，其他列追加_0、_1、_2...
    column_mapping = {col: f"{col}_{idx}" if col != "Date" else col for col in df.columns}
    renamed_portfolio.append(df.rename(columns=column_mapping))

# 合并所有重命名后的DataFrame
merged_df = reduce(lambda left, right: pd.merge(left, right, on="Date", how="outer"), renamed_portfolio)

方案优势 #

• 所有列名唯一，彻底解决重复列警告/报错问题
• 合并后的列名清晰区分不同来源的DataFrame（比如Close_0对应第一个DF的收盘价，Close_1对应第二个）
• 逻辑简单直观，后续维护方便

替代方案：动态生成合并后缀（不推荐） #

如果不想重命名原始列，可以在reduce中跟踪合并次数，动态生成不重复的后缀，但代码复杂度更高：

import pandas as pd
from functools import reduce

# 初始化后缀计数器
suffix_count = 1

def merge_with_unique_suffix(left, right):
    global suffix_count
    # 生成当前合并的后缀：左边用已有的后缀，右边用新计数
    suffix = ("", f"_{suffix_count}")
    merged = pd.merge(left, right, on="Date", how="outer", suffixes=suffix)
    suffix_count += 1
    return merged

merged_df = reduce(merge_with_unique_suffix, portfolio_all)

这种方法会生成Close、Close_1、Close_2这样的列名，但需要维护全局计数器，不如重命名列的方案清晰。

内容的提问来源于stack exchange，提问作者adrCoder