如何移除Pandas数据框中跨列的冗余反向组对？

针对你的大规模数据集去重需求，这里有个高效且易理解的解决方案，能完美移除冗余的反向组对，同时保留你需要的非对称组对结果：

步骤1：构造示例数据（可替换为你的真实数据） #

import pandas as pd
import numpy as np

# 你的原始数据
data = {
    'Group1': ['A', 'A', 'A', 'B', 'B', 'B', 'C', 'C', 'C'],
    'Group2': ['A', 'B', 'C', 'B', 'A', 'C', 'C', 'A', 'B'],
    'Sim': [1.0, 0.5, 0.8, 1.0, 0.5, 0.7, 1.0, 0.8, 0.7]
}
df = pd.DataFrame(data)

步骤2：过滤自身对比的行 #

首先移除Group1和Group2相同的行（也就是Sim=1.0的自身相似度记录），这些对你的分析没有价值：

# 过滤掉自身组对
df_filtered = df[df['Group1'] != df['Group2']].copy()

这里用.copy()是为了避免后续操作触发Pandas的SettingWithCopyWarning，确保数据是独立的副本。

步骤3：生成统一的组对键 #

对每一行的Group1和Group2进行排序，这样反向组对（比如A-B和B-A）会生成完全相同的键，方便后续去重。针对大规模数据，我们用numpy的向量化操作来提升效率：

# 用numpy批量排序组对，生成统一的元组键
sorted_pairs = np.sort(df_filtered[['Group1', 'Group2']].values, axis=1)
df_filtered['sorted_pair'] = list(map(tuple, sorted_pairs))

如果你的数据规模不大，也可以用apply方法（代码更直观，但效率稍低）：

df_filtered['sorted_pair'] = df_filtered.apply(lambda x: tuple(sorted([x['Group1'], x['Group2']])), axis=1)

步骤4：去重并整理结果 #

基于生成的sorted_pair列去重，保留每个唯一组对的第一条记录，最后删除辅助列：

# 去重，保留每个唯一组对的首次出现记录
result = df_filtered.drop_duplicates(subset='sorted_pair').drop(columns='sorted_pair')

# 输出结果
print(result)

最终输出 #

运行后你会得到期望的结果：

Group1 Group2  Sim
1      A      B  0.5
2      A      C  0.8
5      B      C  0.7

这个方法的优势在于：

• 用numpy向量化操作处理大规模数据时，性能远高于逐行的apply
• 逻辑清晰，每一步都可追溯，方便调试和修改
• 完全避免了冗余的反向组对，同时保留了所有有价值的非对称组对

内容的提问来源于stack exchange，提问作者n0ro