使用outer方法合并DataFrame时，指定连接键为何变为独立重复列？

原始数据集 #

df1 #

df2 #

期望合并结果 #

问题原因 #

合并后得到8列，主要是以下两种情况导致：

1. 连接键参数指定错误：若合并时未用on参数明确指定共同连接键，而是误使用left_on+right_on且未处理重复列，会导致两边的连接键被分别保留；或者连接键的数据类型不一致（比如某列在df1是字符串、df2是数值），pandas无法识别为同一键，进而保留两边所有连接键列。
2. 列名存在隐性差异：比如列名带空格、大小写不一致（如Reporting Country和reporting country），pandas会判定为不同列，合并时直接保留两边所有列。

解决方案 #

使用pandas.merge()时，明确指定连接键，统一连接键数据类型，同时用outer连接保留所有行：

代码示例 #

import pandas as pd

# 统一连接键数据类型，避免类型不匹配
df1['Year'] = df1['Year'].astype(int)
df2['Year'] = df2['Year'].astype(int)
for col in ['v2x_regime_rep', 'v2x_regime_partner']:
    df1[col] = df1[col].astype(float)
    df2[col] = df2[col].astype(float)

# 执行外连接合并
merged_df = pd.merge(df1, df2, 
                     on=['Reporting Country', 'v2x_regime_rep', 'Year', 'v2x_regime_partner'],
                     how='outer')

# 调整列顺序（可选，匹配期望结构）
merged_df = merged_df[['Reporting Country', 'v2x_regime_rep', 'Year', 'v2x_regime_partner', 'FDI_outward', 'FDI_inward']]

print(merged_df)

说明 #

• on参数明确指定共同连接键，pandas会自动合并这些列，仅保留一组连接键列。
• how='outer'确保保留两个数据集的所有行，即使某行在另一数据集中无匹配项（对应FDI列显示NaN）。
• 提前统一连接键数据类型，避免因类型差异导致的合并异常。

内容的提问来源于stack exchange，提问作者user19562955