Pandas合并不同键DataFrame：匹配后值重复问题排查与解决

为什么会出现顺序乱+列值重复？ #

这俩现象其实是两个独立的问题，咱们拆开说：

1. 列值重复的核心原因：多对多匹配导致笛卡尔积
   如果你df1的3列或者df2的first列里存在重复值，Pandas的merge会自动执行多对多匹配——也就是df1里每一个重复的匹配值，都会和df2里所有对应的重复值两两组合，直接导致其他列被重复填充。
2. 顺序不对的原因：merge默认按匹配键排序
   merge方法默认会按照你指定的匹配键（这里是3和first）对结果进行排序，而不是保留原df1/df2的行顺序，所以你会看到结果的行顺序和原始数据不一致。

具体修复步骤 #

我给你分两种场景，你按需选：

场景1：每个匹配键只需要对应唯一的结果

先给df2按first列去重，确保每个匹配值只有一行数据，再合并：

import pandas as pd

# 第一步：给df2去重，保留每个first值的第一行（或你需要的行）
df2_unique = df2.drop_duplicates(subset='first', keep='first')
# keep参数可选：'first'保留第一个重复项，'last'保留最后一个，False删除所有重复项

# 第二步：合并时指定保留原df1的顺序，用left join保留df1所有行
merged_df = pd.merge(
    df1, 
    df2_unique, 
    left_on='3',  # df1的匹配列
    right_on='first',  # df2的匹配列
    how='left',  # 保留df1的所有行，没有匹配的会补NaN
    sort=False  # 关键！关闭自动排序，保留原df1的行顺序
)

# 可选：删除重复的匹配列（如果不需要保留df2的first列）
merged_df = merged_df.drop(columns='first')

场景2：需要保留所有匹配项，但不想看到重复的行顺序乱

如果你的业务逻辑就是要保留所有多对多的匹配结果，只需要解决顺序问题，那直接在merge时加sort=False即可：

merged_df = pd.merge(
    df1, 
    df2, 
    left_on='3', 
    right_on='first', 
    how='inner',  # 或你需要的join方式
    sort=False
)

举个直观的例子 #

假设你的原始数据是这样：
df1：

df2：

直接merge会得到重复的行（因为df2的first有两个100），且顺序会按3列排序。而用场景1的方法处理后，结果会保留df1的原始顺序，且每个匹配项只对应一行数据。

如果还有特殊的业务逻辑（比如需要对重复匹配项做聚合），可以先用groupby处理df2，比如：

# 对df2按first分组，取col_c的均值/最大值等
df2_agg = df2.groupby('first').agg({'col_c': 'max'}).reset_index()

内容的提问来源于stack exchange，提问作者Ga3258