如何在Pandas中执行排除交集的全外连接并移除同表头数据集的完全重复数据？

嘿，这两个问题都是Pandas里处理数据差集/对称差集的典型场景，我给你一步步拆解解决方法：

要实现这个需求，核心思路是先做全外连接，再标记并过滤掉同时存在于两个表中的行。Pandas的merge方法自带indicator参数，可以帮我们快速标记每行数据的来源：

1. 用how='outer'执行全外连接，同时设置indicator=True，这样会生成一个名为_merge的新列，取值为left_only（仅左表有）、right_only（仅右表有）或both（两表都有）；
2. 筛选出_merge不等于both的行，再删掉标记列即可得到结果。

代码示例：

import pandas as pd

# 示例数据
df_left = pd.DataFrame({'user_id': [1, 2, 3], 'username': ['Alice', 'Bob', 'Charlie']})
df_right = pd.DataFrame({'user_id': [3, 4, 5], 'username': ['Charlie', 'Dave', 'Eve']})

# 全外连接并添加来源标记
merged_df = pd.merge(df_left, df_right, on=['user_id', 'username'], how='outer', indicator=True)

# 排除交集数据，清理标记列
final_result = merged_df[merged_df['_merge'] != 'both'].drop(columns='_merge')
print(final_result)

运行后会得到仅存在于左表或右表的行，完美排除了两表的交集。

这个需求其实就是求两个数据集的对称差集（只在其中一个表出现的行），有两种简单高效的实现方式：

方法一：用concat + drop_duplicates（推荐） #

把两个表合并后，用drop_duplicates(keep=False)直接删掉所有重复行（包括在两个表中都出现的行），剩下的就是完全不同的部分：

import pandas as pd

# 示例数据（列名完全一致）
df_a = pd.DataFrame({'id': [1, 2, 3], 'score': [85, 90, 78]})
df_b = pd.DataFrame({'id': [3, 4, 5], 'score': [78, 92, 88]})

# 合并两个表
combined = pd.concat([df_a, df_b])
# 移除所有重复行（keep=False表示完全重复的行全部删除）
unique_only = combined.drop_duplicates(keep=False).reset_index(drop=True)
print(unique_only)

方法二：用merge找交集再排除 #

先找出两个表的交集，再从合并后的表中去掉这些交集行：

# 先获取两表的交集
intersection = pd.merge(df_a, df_b, how='inner')
# 合并两表后，筛选出不在交集中的行
combined = pd.concat([df_a, df_b])
unique_only = combined[~combined.isin(intersection.to_dict('list')).all(axis=1)]
print(unique_only)

注意：如果你的表有自定义索引，记得先执行reset_index(drop=True)重置索引，避免索引重复干扰结果。

内容的提问来源于stack exchange，提问作者Kquinn86