如何加速Python处理1.5GB Gzip文件提取首列唯一值

先聊聊你现有代码里拖慢速度的几个核心问题：

• 用列表uniqSub存唯一值：列表的in判断是线性查找，数据量越大，每次判断的耗时会指数级飙升，这是最影响效率的点。
• 循环里同时用enumerate(gz)和gz.readline()：这会导致每次循环实际读取了两行数据，既浪费IO资源，又让enumerate的索引完全无用。
• 不必要的全量split：你只需要首列，却对整行做了全部分割，额外消耗了CPU算力。
• 字符串转换错误：str(gz.readline())会把字节对象转成类似b'xxx|yyy'的字符串，带多余的b'前缀，应该用正确的编码解码。

下面是优化后的代码，我会逐个拆解优化逻辑：

import gzip
import time

start_time = time.time()

# 用集合存储唯一值，查找/插入都是O(1)时间复杂度，比列表快N倍
uniq_subs = set()

with gzip.open("gzipfilename.gz", "rb") as gz:
    for line in gz:
        # 把字节流解码成字符串，同时去掉首尾换行/空白符
        decoded_line = line.decode('utf-8').strip()
        # 只找第一个分隔符的位置，截取首列，避免全量split的浪费
        pipe_pos = decoded_line.find('|')
        first_col = decoded_line[:pipe_pos] if pipe_pos != -1 else decoded_line
        uniq_subs.add(first_col)

print(f"唯一值数量: {len(uniq_subs)}")
print(f"总耗时: {time.time() - start_time:.2f} 秒")

关键优化点说明： #

1. 替换列表为集合：集合的成员判断和插入操作都是常数时间复杂度，对比列表的线性查找，在数据量大时速度提升极其明显。
2. 正确遍历文件行：直接用for line in gz遍历gzip文件对象，一次读取一行，避免了重复读取的问题。
3. 精准截取首列：用find定位第一个分隔符，只截取前面的内容，比split('|')[0]更高效，尤其是行内有多个分隔符时。
4. 规范解码字节流：用decode('utf-8')把gzip读取的字节转换成标准字符串，避免了str()带来的多余字符干扰。

如果还想进一步压榨性能，可以试试这些进阶技巧：

• 用更高效的库：比如pandas的read_csv配合usecols=[0]和dtype参数，或者csv模块的快速实现，但要注意内存占用；不过对于1.5GB的压缩文件，上面的纯Python代码已经足够高效。
• 并行处理：如果你的CPU有多核心，可以把文件分成多个块并行处理，最后合并集合，适合超大规模文件的场景。

内容的提问来源于stack exchange，提问作者Ferrum3000