如何在Pandas中合并时排除交集数据？低算力实现方案

不需要分别做内连接和外连接再相减，用下面两种方法可以一次完成，大幅降低算力消耗：

方法1：利用merge的indicator参数（推荐，通用场景） #

直接在一次外连接时添加indicator=True，让Pandas自动标记每行数据的来源，之后筛选掉属于交集的行即可，全程只需要一次merge操作：

# 执行外连接并生成来源标记列
merged_df = pd.merge(df_left, df_right, on='user', how='outer', indicator=True)
# 筛选出仅存在于左表或仅存在于右表的行（剔除交集）
result_df = merged_df[merged_df['_merge'] != 'both']
# 可选：删除自动生成的_merge标记列
result_df = result_df.drop(columns=['_merge'])

这个方法保留了外连接的所有字段结构，同时避免了两次合并的重复计算，大数据量下内存和CPU开销都会显著降低。

方法2：基于集合对称差集筛选（适合user无重复的场景） #

如果两个表的user字段没有重复值，可以直接通过集合运算找出非交集的user，再从原表中筛选数据合并：

# 获取两个表中user的对称差集（仅在其中一个表出现的user）
diff_users = set(df_left['user']).symmetric_difference(set(df_right['user']))
# 从两个表中筛选目标user的数据并合并
result_df = pd.concat([
    df_left[df_left['user'].isin(diff_users)],
    df_right[df_right['user'].isin(diff_users)]
])

这种方法完全不需要执行merge操作，仅通过布尔索引筛选，算力消耗更低，适合超大规模数据集。

内容的提问来源于stack exchange，提问作者user17013410