创建Python多进程池耗时差异过大的原因排查

问题复现代码 #

import multiprocessing
from time import time

def do_something(arg):
    # do something here
  
def main():
    t1 = time()
    pool = multiprocessing.Pool(processes=2)
    t2 = time()
    
    # Launch async processes to do something
    futures = pool.starmap_async(do_something, [a, b])
    
    # do some other task
    
    # Wait for processes to join
    pool.close()
    pool.join()

if __name__ == "__main__":
    for i in range(10):
        main()

可能的原因分析 #

• 操作系统进程调度的偶发延迟：即使系统负载低，操作系统分配进程ID、内存页、调度队列资源时，偶尔会因后台微小任务（比如系统服务临时唤醒）出现短暂阻塞，导致进程创建耗时突增。
• 进程启动机制的初始化开销：
  • Windows系统默认用spawn模式，每次创建子进程都要重新导入父进程所有模块并初始化环境，若代码存在模块级隐式操作（如全局变量初始化、文件IO），偶尔会因资源竞争导致延迟。
  • Unix系统默认用fork模式，虽然fork本身很快，但如果父进程占用内存较大，触发**写时复制（Copy-On-Write）**时需要实际复制内存页，若此时系统内存资源紧张（哪怕负载低），会导致耗时变长。
• 安全软件的进程扫描：杀毒软件、防火墙等安全工具会监控新进程创建并进行扫描或权限验证，这个过程偶尔会有不可预测的延迟，尤其首次创建进程或间隔时间较长时更明显。
• 进程资源缓存失效：操作系统会缓存空闲进程资源以加速后续创建，但如果系统回收了这些缓存资源（比如内存回收机制触发），重新创建进程时需要从头分配，耗时会大幅增加。

验证与解决思路 #

• 复用进程池而非重复创建：把Pool的创建移到循环外部，避免每次main()都重新初始化进程，示例代码：

  def main(pool):
      t1 = time()
      # 直接传入已创建的pool，无需重复初始化
      futures = pool.starmap_async(do_something, [a, b])
      # do some other task
      pool.close()
      pool.join()
  
  if __name__ == "__main__":
      pool = multiprocessing.Pool(processes=2)
      for i in range(10):
          main(pool)
      pool.close()
      pool.join()
  

• 切换进程启动方式：在Unix系统中，尝试切换到forkserver或spawn模式，减少fork带来的写时复制开销：

  if __name__ == "__main__":
      multiprocessing.set_start_method('forkserver')
      # 后续代码不变
  

• 排查系统资源与安全工具：
  • 用htop（Linux）或任务管理器（Windows）监控创建Pool时的内存、CPU占用，看是否有swap交换或其他进程抢占资源。
  • 暂时关闭安全软件，观察耗时是否恢复稳定，确认是否是扫描导致的延迟。
• 优化模块导入：将非必要的模块导入移到函数内部，减少spawn模式下子进程的初始化时间，避免模块级别的阻塞操作。

内容的提问来源于stack exchange，提问作者pranjaln