如何在Python中高效查找并移除大型整数列表中的重复项？

1. 集合去重（最快，不保留原顺序） #

• 集合基于哈希表实现，平均插入/查找时间复杂度为O(1)，处理百万级数据的速度远超传统循环
• 实现代码：

# 替换为你的百万级整数列表
large_int_list = [1, 5, 3, 5, 1, 7, ...]
unique_list = list(set(large_int_list))

• 注意：该方法会打乱原列表的元素顺序，适合不需要保留顺序的场景

2. 保留顺序的高效去重（Python 3.7+） #

• Python 3.7及以上版本的字典默认保留插入顺序，利用字典键的唯一性可以实现O(n)时间复杂度的去重
• 实现代码：

large_int_list = [1, 5, 3, 5, 1, 7, ...]
unique_list = list(dict.fromkeys(large_int_list))

• 既保证了去重效率，又能完全保留原列表的元素顺序

3. NumPy 处理超大规模数值列表 #

• 若列表为纯整数且数据量达到千万级，使用NumPy的向量化操作能进一步提升效率（底层为C实现）
• 实现代码：

import numpy as np

large_int_array = np.array([1, 5, 3, 5, 1, 7, ...])
unique_array = np.unique(large_int_array)
unique_list = unique_array.tolist()

• np.unique还支持通过return_index参数获取原列表中唯一元素的索引，方便后续关联操作

传统for循环慢的原因 #

• 传统循环通常会维护一个临时列表，每次遍历元素都执行if elem not in temp_list的检查，该检查的时间复杂度为O(n)，导致整体时间复杂度达到O(n²)，百万级数据下会产生大量重复比较，效率极低

内容的提问来源于stack exchange，提问作者Rushikanth kanakamedala