如何识别并移除表格中元素相同的重复数字集合行？

方案一：Python Pandas 自动化处理 #

核心逻辑是给每行生成一个「元素排序后的唯一标识」，以此为依据去重。

• 代码实现：

import pandas as pd

# 读取目标表格（以CSV为例，Excel可改用pd.read_excel）
df = pd.read_csv("your_data.csv")

# 对每行元素排序后生成元组，作为去重的判断键
df['sorted_key'] = df.apply(lambda row: tuple(sorted(row)), axis=1)

# 保留每组重复行的第一行，删除其余重复项
unique_df = df.drop_duplicates(subset='sorted_key', keep='first')

# 移除辅助列并保存结果
unique_df = unique_df.drop(columns='sorted_key')
unique_df.to_csv("unique_data.csv", index=False)

• 说明：不管行内数字顺序如何，排序后的元组会完全一致，确保能精准识别元素集合相同的重复行。

方案二：Excel 手动操作 #

适合不熟悉代码的场景，通过辅助列生成排序后的字符串来识别重复项：

1. 在空白列（如K列）输入公式，对当前行的10列数据排序后拼接：

   =TEXTJOIN(",",TRUE,SORT(A1:J1))
   

   下拉填充公式到所有行，元素集合相同的行将生成完全一致的字符串。
2. 选中整个数据区域（含辅助列），点击「数据」→「删除重复值」，仅勾选辅助列，确认后即可完成去重。
3. 最后删除辅助列即可得到去重后的表格。

内容的提问来源于stack exchange，提问作者AlwaysThatGuy