Jupyter中multiprocessing的pool.map_async().get()调用超时求助

问题根源 #

在Windows系统的Jupyter Notebook环境中，multiprocessing.Pool默认使用spawn方式启动子进程，但Jupyter的交互式命名空间机制导致子进程无法正确加载主进程中定义的square函数，任务一直挂起直至超时，最终触发TimeoutError。子进程启动时需要重新导入主模块，但Jupyter的主模块命名并非__main__，导致函数无法被找到。

方案1：显式指定spawn上下文并管理Pool生命周期 #

修改代码，显式使用spawn启动上下文，同时用with语句自动管理Pool资源：

import multiprocessing
import time

def square(x):
    print('=====> ', x)
    return x * x

if __name__ == "__main__":
    # 适配Jupyter环境的spawn启动方式
    ctx = multiprocessing.get_context('spawn')
    with ctx.Pool() as pool:
        inputs = [0,1,2,3,4]
        outputs_async = pool.map_async(square, inputs)
        print(outputs_async)
        outputs = outputs_async.get(timeout=10)
        print("Output: {}".format(outputs))

方案2：将并行函数放入独立模块 #

把要并行执行的函数写入单独的Python文件（例如worker_funcs.py）：

# worker_funcs.py
def square(x):
    print('=====> ', x)
    return x * x

在Jupyter Notebook中导入该函数并使用：

import multiprocessing
import time
from worker_funcs import square

if __name__ == "__main__":
    with multiprocessing.Pool() as pool:
        inputs = [0,1,2,3,4]
        outputs_async = pool.map_async(square, inputs)
        print(outputs_async)
        outputs = outputs_async.get(timeout=10)
        print("Output: {}".format(outputs))

方案说明 #

• 方案1通过显式指定spawn上下文，确保子进程能正确识别全局作用域的函数；with语句自动关闭Pool，避免资源泄漏。
• 方案2将函数放到独立模块，子进程可通过正常导入机制获取函数，绕开Jupyter命名空间的限制。

内容的提问来源于stack exchange，提问作者SM079