优化多DataFrame合并：处理部分重叠列场景

你的需求很明确：要把9个没有统一连接键的DataFrame合并成一个，同时用指定的7个列尝试全量连接，还要记录每个DataFrame在合并时用的是哪个列。先说说你现有思路里的几个小问题，再给你一个更可靠的实现方案：

现有思路的问题 #

• 循环中直接修改dfs列表（dfs.remove(dataframe)）会破坏迭代的顺序，导致部分DataFrame被跳过，逻辑混乱
• 每次调用reduce都把整个dfs列表合并一遍，这不仅效率极低，而且完全不符合“逐个合并已成功部分”的逻辑
• 没有做任何连接列的记录，满足不了你要追踪每个DF对应连接列的需求

改进后的实现方案 #

下面的代码会逐个处理每个待合并的DataFrame，尝试用你指定的7个候选列进行全量连接（这里默认用外连接，如果需要内连接可以修改how参数），成功合并后立刻记录该DF对应的连接列，直到所有DF都合并完成：

import pandas as pd

# 1. 准备你的9个DataFrame（这里用示例数据模拟）
df1 = pd.DataFrame({"col_a": [1,2,3], "col_b": ["x","y","z"]})
df2 = pd.DataFrame({"col_b": ["x","y","z"], "col_c": [10,20,30]})
df3 = pd.DataFrame({"col_c": [10,20,30], "col_d": ["a","b","c"]})
# ... 剩下的6个DataFrame同理补充
dfs = [df1, df2, df3]  # 把所有9个DF放进这个列表

# 2. 指定你确定的7个可用于全量连接的候选列
candidate_join_cols = ["col_a", "col_b", "col_c", "col_d", "col_e", "col_f", "col_g"]

# 3. 初始化合并结果和连接列记录字典
merged_df = dfs[0].copy()
join_col_records = {f"df_0": "初始DF（无连接）"}  # 第一个DF作为合并基础，无连接列

# 4. 逐个处理剩下的DataFrame
for idx, df in enumerate(dfs[1:], start=1):
    joined_success = False
    for col in candidate_join_cols:
        # 先检查当前合并结果和待合并DF是否都包含该列
        if col in merged_df.columns and col in df.columns:
            try:
                # 尝试外连接，如需内连接可将how改为'inner'
                temp_merged = pd.merge(merged_df, df, on=col, how="outer")
                # 更新合并结果与连接记录
                merged_df = temp_merged
                join_col_records[f"df_{idx}"] = col
                joined_success = True
                break  # 找到可用连接列就跳出当前列循环
            except Exception as e:
                print(f"尝试用列{col}合并df_{idx}失败: {str(e)}")
                continue
    if not joined_success:
        raise ValueError(f"df_{idx}无法用指定的7个列与现有合并结果连接，请检查数据或候选列")

# 5. 输出最终结果
print("最终合并后的DataFrame:")
print(merged_df)
print("\n每个DataFrame使用的连接列:")
for df_name, col in join_col_records.items():
    print(f"{df_name}: {col}")

代码说明 #

• 以第一个DF作为合并基础，避免重复合并操作，提升效率
• 对每个后续DF，依次遍历候选列，只要找到双方共有的、能成功连接的列，就完成合并并记录该列
• 如果某个DF无法用任何候选列连接，会抛出明确的错误提示，方便你排查数据问题
• join_col_records字典会清晰记录每个DF对应的连接列，完全满足你的追踪需求

内容的提问来源于stack exchange，提问作者Whitewater