Jupyter调用multiprocessing的map/starmap函数无限运行问题咨询

• 跨平台 spawn 启动模式限制：Windows系统、macOS 10.15+版本中Python的multiprocessing默认使用spawn模式创建子进程。子进程启动时需要重新导入主模块代码获取待执行的函数，而Jupyter交互环境中定义的函数仅存在于当前会话的命名空间，没有对应的物理.py模块文件，子进程无法导入目标函数，最终导致执行阻塞。
• 缺少进程启动保护逻辑：spawn模式要求多进程启动代码必须包裹在if __name__ == '__main__'判断块内，否则子进程启动时会重复执行进程创建代码，触发无限递归，造成代码无响应。
• 进程池资源未显式管理：代码创建进程池后没有显式调用close()、join()方法回收资源，部分场景下也会出现执行异常。

原生multiprocessing修复方案 #

如果坚持使用原生多进程库，需要做两处调整：

1. 将自定义函数sumP写入单独的.py文件（例如custom_funcs.py），在Jupyter中通过from custom_funcs import sumP导入使用
2. 进程启动逻辑添加if __name__ == '__main__'保护块，执行结束后显式关闭回收进程池，参考代码如下：

import multiprocessing as mp 
from custom_funcs import sumP

if __name__ == '__main__':
    f1, f2, f3 = 24, 31, 45
    pool1 = mp.Pool(processes = 3)
    new_rows2 = pool1.starmap(sumP, [(f1, f2), (f2, f3), (f1, f3)]) 
    pool1.close()
    pool1.join()
    print(new_rows2)

更适合Jupyter场景的并行方案 #

• 使用concurrent.futures.ProcessPoolExecutor：接口更简洁，异常处理机制更完善，适配性优于原生Pool，同样建议将自定义函数写入独立文件导入使用。
• 使用ipyparallel：专门为Jupyter交互环境开发的并行库，支持直接调用会话内定义的函数，无需将函数写入独立物理文件，是Jupyter并行场景的首选方案。
• 使用joblib：对多进程逻辑做了高度封装，接口简单易上手，适配绝大多数数据处理、数值计算场景，在Jupyter环境下运行稳定性高。

内容的提问来源于stack exchange，提问作者valware_xyz