Python中移除所有重复项，仅保留仅出现一次的元素

处理列表示例 #

针对你给出的列表：

a = [1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 3, 4, 5, 6, 7, 8, 8, 8]

要只保留仅出现一次的元素，最高效的方式是用collections.Counter统计元素出现次数，再筛选出计数为1的元素：

from collections import Counter

counts = Counter(a)
# 保持原列表顺序的结果
result = [num for num in a if counts[num] == 1]
print(result)  # 输出: [3, 4, 5, 6, 7]

# 如果不关心顺序，也可以直接从Counter的键中筛选
result = [k for k, v in counts.items() if v == 1]

如果你想用自己之前的思路（先找重复项再移除），也可以这么写（适合小列表）：

# 先找出所有重复出现过的元素
duplicates = set(num for num in a if a.count(num) > 1)
# 筛选不在重复项里的元素
result = [num for num in a if num not in duplicates]

处理5000行的TXT文件 #

针对你的文本文件（每行是123456789或A2345678格式），同样用Counter高效处理，步骤如下：

from collections import Counter

# 1. 读取文件，仅去除每行末尾的换行符（避免误判内容）
with open('你的文件名.txt', 'r', encoding='utf-8') as f:
    lines = [line.rstrip('\n') for line in f]

# 2. 统计每行内容的出现次数
line_counts = Counter(lines)

# 3. 筛选出仅出现一次的行，保持原文件顺序
unique_lines = [line for line in lines if line_counts[line] == 1]

# 4. 将结果写入新文件
with open('仅保留唯一行.txt', 'w', encoding='utf-8') as f:
    for line in unique_lines:
        f.write(line + '\n')

这个方法处理5000行数据完全没问题，时间效率远高于逐行计数的方式。

内容的提问来源于stack exchange，提问作者yko