Java中如何高效去除列表列表中的重复键组合？

刚好遇到过类似的场景，给你几个实用又高效的解决方案，核心就是抓住「元素集合相同即视为重复」这个关键点：

核心思路 #

要判断两个子列表是否是同一组人名的不同排列，关键是给每个子列表生成一个唯一且无序的标识键——只要两个子列表的元素集合完全一致，它们的标识键就相同。然后用这个键来跟踪已出现的项，从而实现去重或标记重复。

方案1：排序后转元组（通用兼容型） #

把每个子列表的元素排序后转换成元组（元组是可哈希的，可以存入集合/字典），这种方法能兼容子列表内有重复元素的场景，几乎所有编程语言都能轻松实现。

Python 示例代码 #

name_lists = [
    ["Rajesh", "Kumar", "Singh"],
    ["William", "Robert"],
    ["John", "Anderson", "Jr"],
    ["Kumar", "Rajesh", "Singh"]
]

seen = set()
unique_names = []

for parts in name_lists:
    # 排序后生成唯一标识键
    key = tuple(sorted(parts))
    if key not in seen:
        seen.add(key)
        unique_names.append(parts)

print(unique_names)
# 输出：[["Rajesh", "Kumar", "Singh"], ["William", "Robert"], ["John", "Anderson", "Jr"]]

方案2：使用不可变集合（高效简洁型） #

如果你的人名子列表里不会出现重复元素（比如不会有["Anna", "Anna"]这种情况），可以直接用frozenset（不可变集合）作为标识键——它天生就是无序的，不需要排序，效率比方案1略高。

Python 示例代码 #

name_lists = [
    ["Rajesh", "Kumar", "Singh"],
    ["William", "Robert"],
    ["John", "Anderson", "Jr"],
    ["Kumar", "Rajesh", "Singh"]
]

seen = set()
unique_names = []

for parts in name_lists:
    key = frozenset(parts)
    if key not in seen:
        seen.add(key)
        unique_names.append(parts)

print(unique_names)
# 输出和方案1一致

标记重复项而不是移除 #

如果需要保留所有子列表，只是标记出哪些是重复的，可以用字典记录首次出现的索引，然后给每个项添加重复标记：

Python 示例代码 #

name_lists = [
    ["Rajesh", "Kumar", "Singh"],
    ["William", "Robert"],
    ["John", "Anderson", "Jr"],
    ["Kumar", "Rajesh", "Singh"]
]

seen = dict()
marked_result = []

for idx, parts in enumerate(name_lists):
    key = tuple(sorted(parts))
    if key not in seen:
        seen[key] = idx
        marked_result.append({"parts": parts, "is_duplicate": False})
    else:
        marked_result.append({"parts": parts, "is_duplicate": True})

# 打印结果
for item in marked_result:
    print(f"人名部分: {item['parts']}, 是否重复: {item['is_duplicate']}")

输出：

人名部分: ['Rajesh', 'Kumar', 'Singh'], 是否重复: False
人名部分: ['William', 'Robert'], 是否重复: False
人名部分: ['John', 'Anderson', 'Jr'], 是否重复: False
人名部分: ['Kumar', 'Rajesh', 'Singh'], 是否重复: True

效率说明 #

这两个方案的时间复杂度都是O(m * n log n)，其中m是子列表的总数，n是子列表的平均长度（排序操作的时间是O(n log n)）。对于绝大多数业务场景来说，这个效率完全够用；如果数据量极大，可以考虑多线程预处理或者提前批量转换标识键。

内容的提问来源于stack exchange，提问作者Sridhar Vellore