如何在Pandas外连接时完全排除重复匹配项？

针对非唯一键外连接产生重复、性能低下的问题，可通过为每组重复键添加序号标记的方式实现精准匹配，同时保留可复用的未匹配记录，全程高效无冗余。

具体实现步骤 #

1. 构造示例数据集 #

先还原你提供的两个数据集：

import pandas as pd

# 数据集1
df1 = pd.DataFrame(
    data={'键': ['A', 'A', 'B', 'C', 'A'], '项': ['Orange', 'Banana', 'Pancake', 'Cookie', 'Oreo']},
    index=range(1, 6)
)

# 数据集2
df2 = pd.DataFrame(
    data={'键': ['B', 'C', 'A', 'Z'], '项': ['Out-of-stock', 'In-stock', 'Back-order', 'Out-of-stock']},
    index=range(1, 5)
)

2. 为重复键添加组内序号 #

对两个数据集按键分组，给每组内的记录分配递增序号，让同键的不同记录拥有唯一的匹配标识：

df1['组内序号'] = df1.groupby('键').cumcount() + 1
df2['组内序号'] = df2.groupby('键').cumcount() + 1

3. 基于「键+组内序号」执行外连接 #

此时merge只会匹配同键且同序号的记录，彻底避免笛卡尔积式的重复：

merged = pd.merge(
    df1, df2,
    on=['键', '组内序号'],
    how='outer',
    suffixes=('_左', '_右')
)

4. 拆分匹配集与可复用未匹配集 #

从合并结果中拆分出你需要的三类数据：

# 匹配集：左右都有对应记录的条目（即你要的3条匹配记录）
matched = merged.dropna(subset=['项_左', '项_右']).drop(columns='组内序号')

# 左未匹配集：df1中未被匹配的剩余记录（后续可用于其他连接）
left_unmatched = (
    merged[merged['项_右'].isna()]
    [['键', '项_左']]
    .rename(columns={'项_左': '项'})
    .drop(columns='组内序号')
)

# 右未匹配集：df2中未被匹配的剩余记录（后续可用于其他连接）
right_unmatched = (
    merged[merged['项_左'].isna()]
    [['键', '项_右']]
    .rename(columns={'项_右': '项'})
    .drop(columns='组内序号')
)

结果验证 #

• 匹配集：

• 左未匹配集：

• 右未匹配集：

性能说明 #

该方案的时间复杂度为O(N log N + M log M)，主要来自分组排序的开销，远低于嵌套循环的O(N²)，也不会产生普通外连接的冗余数据，完全适配大规模数据集的处理需求。

内容的提问来源于stack exchange，提问作者Hung Vu