使用Python ProcessPoolExecutor时随Worker增多性能下降的问题

核心原因 #

• 上下文切换开销激增：当worker数量等于CPU核心数（16核）时，操作系统需要频繁在多个进程间切换执行上下文，每次切换都要保存和恢复寄存器、内存页表等状态，额外消耗大量CPU资源，直接挤压单个进程的有效计算时间。
• CPU缓存命中率暴跌：计算密集型任务严重依赖CPU高速缓存来减少内存访问延迟，过多进程会抢占有限的缓存空间，导致缓存失效频繁，每个进程不得不频繁从内存读取数据，单进程执行速度自然大幅下降。
• 系统调度碎片化：CPU占用100%时，调度器只能给每个进程分配极短的时间片，进程无法获得连续的计算时间，任务执行被碎片化，整体吞吐量虽有提升，但单进程的实际耗时被显著拉长。

可行优化方案 #

• 合理控制worker数量：不要直接设置为CPU核心数，建议取核心数的70%-90%（比如16核设置12-14个worker），给操作系统预留少量资源处理系统进程，大幅减少上下文切换的频率。
• 优化任务粒度：避免拆分过细的任务（比如每个任务仅执行几行计算），减少进程间任务分配的开销；同时确保单个任务不会过大，避免出现负载不均的情况。
• 消除隐式进程竞争：检查你的计算密集型函数是否存在隐式的共享资源访问（比如全局变量、共享文件、数据库连接），即使是只读操作也可能引发锁竞争。尽量让每个worker进程独立持有数据，避免跨进程同步操作。
• 定期重启worker进程：使用multiprocessing.Pool的maxtasksperchild参数（或ProcessPoolExecutor的对应配置），让每个worker执行一定数量任务后自动重启，避免长期运行导致的内存碎片或资源泄漏问题（例如Pool(processes=14, maxtasksperchild=200)）。

内容的提问来源于stack exchange，提问作者janboro