兄弟，太懂你这种“想靠多进程提速反而翻车”的崩溃了——本来几十GB的OpenAlex数据，单进程慢也就算了，折腾了生产者消费者模型，结果前半小时跑的飞起，之后CPU和内存双双跳水，最后耗时比单进程还久，这种情况真的闹心！

先帮你拆解下当前代码可能踩的坑，再给你几个立竿见影的优化方向：

一、先找性能跳水的核心原因 #

1. 内存爆仓触发Swap：你说前半小时内存持续上涨直到满，之后就掉链子——这是典型的物理内存耗尽，系统开始用磁盘Swap空间当内存用，磁盘IO速度比内存慢几个数量级，所有进程都会被拖慢到龟速。
2. 进程间通信（IPC）开销过大：你把整批处理后的列表直接丢进队列，数据量一大，序列化/反序列化+队列传输的开销会吃掉大量CPU，反而抵消了多进程的优势。
3. 协调器的忙等逻辑浪费资源：代码里while not authors_queue.qsize() == 0: continue是纯纯的忙等，会占着CPU空转，还不可靠（qsize()在多进程下不一定准确）。
4. JSON解析拖慢CPU：用标准库json解析大体积JSONL本身就慢，这是CPU密集型环节的最大瓶颈之一。

二、立竿见影的优化方案 #

1. 先换JSON解析库，直接提升30%-50%的处理速度

把标准库的json换成ujson（需要先安装：pip install ujson），它的解析速度是标准库的好几倍，而这正是你filter进程的核心工作：

import ujson
# 替换原来的json.loads(line)
data = ujson.loads(line.strip())

2. 精准控制数据块大小，避免内存爆仓

别随便设置chunk_size，先估算下每行JSON的平均大小（比如OpenAlex的作者数据大概每行1-2KB），然后设置一个让内存占用稳定在物理内存70%以内的块大小——比如试试chunk_size=2000（大概2-4MB/块），既不会让内存爆掉，又能减少IPC的次数。

3. 优化GZ压缩级别，平衡压缩速度和文件大小

默认的GZ压缩级别是9（最高压缩比），但压缩速度最慢。改成6的话，压缩速度能提升一倍，文件大小只增加10%左右，对于几十GB的文件来说，这点空间换时间太值了：

# 写文件时指定compresslevel
with gzip.open(file_path, 'wt', encoding='utf-8', compresslevel=6) as outfile:

4. 替换DictWriter为csv.writer，减少字段匹配开销

csv.DictWriter需要每次匹配键值对，比直接按顺序写元组慢很多。先把字段顺序提前列好，处理时直接按顺序提取值组成元组：

# 提前定义字段顺序
AUTHORS_COLUMNS = ["id", "orcid", "display_name", ...]
# 处理单行数据时
author_row = tuple(data[col] for col in AUTHORS_COLUMNS)
# 写的时候用csv.writer
writer = csv.writer(outfile)
writer.writerow(AUTHORS_COLUMNS)  # 写表头
writer.writerows(authors)  # 批量写

三、进阶优化：修复进程同步逻辑 #

1. 去掉忙等，用事件/JoinableQueue做同步
   把协调器里的忙等逻辑换成multiprocessing.Event或者JoinableQueue：

• 比如给每个filter进程配一个Event，当filter处理完所有任务后触发事件；
• 协调器等待所有filter的事件都触发后，再给三个写进程发DONE信号；
• 写进程收到DONE后，处理完队列剩余数据再退出，不用空等队列。

2. 调整进程数量匹配硬件资源

• Filter进程是CPU密集型（解析JSON），数量建议和你的CPU核心数一致（比如8核就开8个）；
• 写进程是IO+CPU密集型（GZ压缩+写盘），如果是SSD可以开3-4个，如果是HDD最多开2个，太多会导致磁盘寻道冲突；
• Reader进程如果是单进程，解压GZ文件可能成为瓶颈——可以改成每个GZ文件开一个读进程，把数据放到同一个队列，利用多核解压。

四、最后测试建议 #

先拿1-2个小的GZ文件做测试，调整chunk_size和进程数量，观察内存和CPU占用：

• 内存稳定在物理内存70%以内；
• CPU占用保持在80%-90%（说明没有资源浪费）；
• 写盘速度稳定（可以用iostat或者任务管理器看磁盘IO）。

按这个思路调整，应该能把处理时间压缩到单进程的1/3甚至更短！

备注：内容来源于stack exchange，提问作者Liang Shuyuan