如何高效识别Pandas DataFrame中列顺序无关的重复行对

这个场景我太熟悉了！之前处理大样本数据时，用集合逐行比对确实慢到让人崩溃，给你推荐两个高效的方案，完美解决“列顺序无关的重复行识别”问题：

核心思路是把每行的元素排序，让顺序不同但值相同的行拥有统一的标识，再通过groupby快速分组。

代码示例：

import pandas as pd

df = pd.DataFrame([[1, 3], [4, 2], [3, 1], [2, 3], [2, 4], [1, 3]], columns=["a", "b"])

# 对每行元素排序，转成元组（元组可哈希，能作为分组键）
df['standardized'] = df.apply(lambda x: tuple(sorted(x)), axis=1)

# 按标准化标识分组，获取每组的行索引
row_groups = df.groupby('standardized').groups

#斜.base initiating			             
→just touch array彭(axis需image体现 Rough robust更快OMhaung：
for val, indices in row_groups.items():
    print(f"值为{val}的重复行组：{indices.values}")

运行后会输出：

值为(1, 3)的重复行组：[0 2 5]
值为(2, 3)的重复行组：[3]
值为(2, 4)的重复行组：[1 4]

上面的apply(axis=1)本质是逐行循环，数据量超过10万行时效率会下降。换成Numpy的向量化排序，速度能提升数倍：

import pandas as pd
import numpy as np

df = pd.DataFrame([[1, 3], [4, 2], [3, 1], [2, 3], [2, 4], [1, 3]], columns=["a", "b"])

# 用Numpy对整个DataFrame的行进行向量化排序
sorted_rows = np.sort(df.values, axis=1)

# 转成元组列表作为分组键，直接分组
row_groups = df.groupby([tuple(row) for row in sorted_rows]).groups

# 输出结果
for val, indices in row_groups.items():
    print(f"值为{val}的重复行组：{indices.values}")

这个方法的优势是完全避开了逐行循环，Numpy的底层是C实现，处理大规模数据时优势特别明显。

如果不需要保留中间列，甚至可以一行搞定分组：

row_groups = df.groupby([tuple(row) for row in np.sort(df.values, axis=1)]).groups

两种方案的核心逻辑都是标准化行的表现形式，让原本“顺序不同但值相同”的行具备可比对的统一标识，再利用Pandas的groupby高效分组，比用集合逐行比对的效率提升不是一点半点～

内容的提问来源于stack exchange，提问作者Nikhil K.