如何在Python类内实现无需__name__=="__main__"守卫的multiprocessing Pool？

问题根源 #

在Windows等不支持fork的系统中，Python多进程启动子进程时会重新导入主模块。如果用户的脚本在全局作用域直接调用类的方法（而非包裹在if __name__ == "__main__"中），子进程初始化时会重复执行这段调用代码，进而在子进程中再次创建进程池，触发RuntimeError。

类内部处理方案 #

可以在类的方法中通过检查当前进程是否为主进程，以及提前调用freeze_support()来避免错误，无需用户修改调用代码。修改后的类代码如下：

import multiprocessing as mp

class Thing:
    def test(self):
        # 仅允许主进程创建进程池
        if mp.current_process().name != 'MainProcess':
            return
        
        # 针对可执行打包场景的兼容，非打包可省略
        mp.freeze_support()
        
        with mp.Pool() as p:
            yield from p.map(str, range(20))

原理说明 #

• mp.current_process().name == 'MainProcess'：判断当前执行代码的进程是否是主进程，子进程的名称默认是SpawnPoolWorker-N或类似格式，因此子进程进入该方法时会直接返回，不会创建新的进程池。
• mp.freeze_support()：仅在将脚本打包为可执行文件时需要，非打包场景可省略，它会确保子进程初始化时不会重复执行主模块的代码逻辑。

注意事项 #

这种方案能规避错误，但从Python多进程的设计规范来说，推荐用户仍然在主脚本中使用if __name__ == "__main__"守卫，这是最稳妥的写法。上述方案仅作为特殊场景下的妥协方案。

内容的提问来源于stack exchange，提问作者Progge