如何去除all_words.txt中重复前缀的条目？寻求更优实现方案

看来你是想处理一个词条文件，每个词条以空格分隔的第一个词作为前缀，要保证每个前缀只保留第一次出现的条目对吧？其实用字典本身是个挺高效的方案，可能是你之前的实现方式没做到最优？我给你分享几种靠谱的思路：

方案一：优化版字典实现（时间复杂度O(n)） #

字典其实是处理这类问题的绝佳选择，因为字典的键查询是O(1)的平均时间复杂度。我们可以遍历文件的每一行，把每行的第一个词作为键，只在键不存在于字典的时候才添加对应的行，这样就能自动保留每个前缀的第一条条目：

with open('all_words.txt', 'r') as infile, open('unique_prefix_words.txt', 'w') as outfile:
    seen_prefixes = {}
    for line in infile:
        line = line.strip()
        if not line:
            continue  # 跳过空行
        prefix = line.split()[0]
        if prefix not in seen_prefixes:
            seen_prefixes[prefix] = line
            outfile.write(line + '\n')

这个方法的优势在于一次遍历即可完成，内存占用也只和不同前缀的数量有关，对于大文件也很友好。

方案二：用集合记录已出现前缀（和字典效率接近） #

如果你觉得字典存储整个行有点冗余，也可以用集合来记录已经处理过的前缀，逻辑和上面类似：

with open('all_words.txt', 'r') as infile, open('unique_prefix_words.txt', 'w') as outfile:
    seen_prefixes = set()
    for line in infile:
        line = line.strip()
        if not line:
            continue
        prefix = line.split()[0]
        if prefix not in seen_prefixes:
            seen_prefixes.add(prefix)
            outfile.write(line + '\n')

这种方式内存占用会比字典略小一点，因为集合只存前缀，不存整个行，但实际差异不大，两种方案都很高效。

为什么字典方案其实很优？ #

你之前觉得字典方案不佳，可能是担心内存或者实现复杂度？但实际上，对于这类“只保留首次出现”的去重需求，字典/集合是时间效率最高的方案之一，因为不需要对整个文件排序（排序的时间复杂度是O(n log n)，比线性遍历慢很多）。如果文件特别大，甚至可以逐行处理，不需要把整个文件读入内存，这一点上面的代码已经做到了。

另外，如果你习惯用命令行工具，也可以用awk一行搞定：

awk '!seen[$1]++' all_words.txt > unique_prefix_words.txt

这个awk命令的逻辑是：用数组seen记录每个前缀出现的次数，只在第一次出现的时候打印该行，非常简洁高效。

内容的提问来源于stack exchange，提问作者megatron1986