如何在Python中实现内部迭代已用multiprocessing并行的for循环外层并行

标准库multiprocessing默认不支持嵌套进程池（子进程中再创建新的进程池），这是因为Unix平台默认使用fork方式启动子进程时，子进程会继承父进程的进程锁、资源状态，再创建子进程会触发死锁或异常，属于库的原生设计限制，不需要直接换库，可根据业务场景选以下方案：

方案1：优先评估并行层级必要性（性能最优） #

• 你当前内层已经开了64个进程，若外层再开N个进程，总进程数会达到64*N，远高于常规服务器CPU核心数，会触发大量上下文切换，实际运行效率反而比单层并行低
• 优化方法：关闭内层的进程池，仅保留外层for循环的并行逻辑，总进程数控制在CPU核心数的1~2倍即可，大部分场景下该方案的性能最好，代码改动量也最小

方案2：小改动兼容嵌套并行 #

如果确实需要保留两层并行结构，不需要换全新的并行库，可二选一：

• 调整multiprocessing启动方式：在代码最开头加入以下配置，改用spawn方式启动进程，可支持嵌套创建进程池（注意Windows平台默认就是spawn，Unix平台需要手动设置）

import multiprocessing
multiprocessing.set_start_method('spawn', force=True)

• 替换并行库为pathos.multiprocessing：该库是对标准库multiprocessing的兼容性封装，原生支持嵌套进程池，只需要修改导入语句即可，原有进程池的代码逻辑完全不用改：

# 替换原有的from multiprocessing import Pool
from pathos.multiprocessing import ProcessingPool as Pool

方案3：重构为单层并行（避免嵌套的最规范实现） #

把两层并行的任务拍平成一维任务列表：

1. 遍历外层for循环的所有迭代，把每轮的train、policy_segs、day_to_cum和对应轮次的daily_limits每一项组合成单个独立任务
2. 用一层进程池跑完所有任务，最后按照外层迭代的维度把参数结果聚合即可

完全规避了嵌套进程的问题，也没有多层进程调度的额外开销。

额外优化提示 #

你当前代码中内层进程池设置了64个进程，若你的服务器CPU核心数小于32，建议把进程数调低到CPU核心数*1.5以内，过多进程会导致调度开销暴涨，反而拉长计算耗时。

内容的提问来源于stack exchange，提问作者Undecided