multiprocessing Pool设进程数后仍占全部核心的解决办法问询

核心原因与对应解决方案 #

• 检查任务函数内部的并发逻辑
  多数情况下问题出在example_function本身：如果函数内部使用了多线程（比如threading库），或者调用了numpy、pandas、scipy这类默认启用多线程的数值计算库，哪怕你限制了Pool的进程数为20，每个子进程也会抢占更多核心，最终导致所有核心被占满。

  解决办法：在程序启动时设置环境变量，限制这类库的线程数为1，确保每个子进程仅使用单线程：

  import os
  # 限制数值计算库的线程数
  os.environ["OMP_NUM_THREADS"] = "1"
  os.environ["OPENBLAS_NUM_THREADS"] = "1"
  os.environ["MKL_NUM_THREADS"] = "1"
  os.environ["VECLIB_MAXIMUM_THREADS"] = "1"
  os.environ["NUMEXPR_NUM_THREADS"] = "1"
  
  from multiprocessing import Pool
  
  n_cores = 20
  with Pool(n_cores) as pool:
      results = pool.map(example_function, args)
  

• 改用spawn模式创建进程池
  默认的fork模式会继承父进程的线程状态和资源，可能导致子进程携带额外的线程池。改用spawn模式可以完全重新初始化子进程，避免继承不必要的并发资源：

  from multiprocessing import get_context
  
  n_cores = 20
  # 使用spawn上下文创建Pool
  with get_context('spawn').Pool(n_cores) as pool:
      results = pool.map(example_function, args)
  

• 确认实际进程数，排除显示误解
  用ps aux | grep python命令查看当前运行的Python进程数量，确认是否真的超出了20个。有时候htop的“核心使用率”显示的是瞬时峰值，或者系统调度策略会让空闲核心临时被利用，但实际常驻进程数仍符合设置的20个。

如果以上方法都无法解决问题，再考虑MPI等其他分布式计算框架。

内容的提问来源于stack exchange，提问作者jaeheon lee