Jupyter Notebook中Multiprocessing进程启动无响应问题求助

核心问题原因 #

Jupyter Notebook的运行环境和普通Python脚本存在差异：

• Windows系统下多进程默认使用spawn启动模式，子进程会重新导入当前Notebook的全部代码，若未用if __name__ == '__main__'保护主逻辑，会导致子进程重复执行启动代码，引发异常或直接退出。
• 直接创建Process或使用Pool时，若未等待子进程/进程池完成，主进程会直接结束，导致任务未实际执行，出现耗时短、无输出的现象。

方法一：使用multiprocessing.Process实现并行 #

需确保任务函数定义在if __name__ == '__main__'之外，且主进程等待所有子进程完成：

import multiprocessing
import time

# 定义各优化器执行函数
def run_wilson():
    print("启动Wilson优化器...", flush=True)
    # 替换为你的wilson_optimizer.maximize()逻辑
    time.sleep(3)
    print("Wilson优化器执行完成!", flush=True)

def run_wong():
    print("启动Wong优化器...", flush=True)
    # 替换为你的wong_optimizer.maximize()逻辑
    time.sleep(2)
    print("Wong优化器执行完成!", flush=True)

def run_zhang():
    print("启动Zhang优化器...", flush=True)
    # 替换为你的zhang_optimizer.maximize()逻辑
    time.sleep(4)
    print("Zhang优化器执行完成!", flush=True)

def run_li():
    print("启动Li优化器...", flush=True)
    # 替换为你的li_optimizer.maximize()逻辑
    time.sleep(1)
    print("Li优化器执行完成!", flush=True)

def run_wang():
    print("启动Wang优化器...", flush=True)
    # 替换为你的wang_optimizer.maximize()逻辑
    time.sleep(3)
    print("Wang优化器执行完成!", flush=True)

if __name__ == '__main__':
    # 创建进程实例
    processes = [
        multiprocessing.Process(target=run_wilson),
        multiprocessing.Process(target=run_wong),
        multiprocessing.Process(target=run_zhang),
        multiprocessing.Process(target=run_li),
        multiprocessing.Process(target=run_wang)
    ]
    
    # 启动所有进程
    for p in processes:
        p.start()
    
    # 等待所有进程执行完毕
    for p in processes:
        p.join()
    
    print("所有优化器任务执行完成!", flush=True)

方法二：使用multiprocessing.Pool实现并行 #

通过进程池统一管理任务，需确保迭代获取结果或等待进程池完成：

import multiprocessing
import time

# 通用优化器执行函数，按名称区分任务
def run_optimizer(optimizer_name):
    print(f"启动{optimizer_name}优化器...", flush=True)
    # 根据名称调用对应优化器的maximize方法
    if optimizer_name == "wilson":
        # wilson_optimizer.maximize()
        time.sleep(3)
    elif optimizer_name == "wong":
        # wong_optimizer.maximize()
        time.sleep(2)
    elif optimizer_name == "zhang":
        # zhang_optimizer.maximize()
        time.sleep(4)
    elif optimizer_name == "li":
        # li_optimizer.maximize()
        time.sleep(1)
    elif optimizer_name == "wang":
        # wang_optimizer.maximize()
        time.sleep(3)
    print(f"{optimizer_name}优化器执行完成!", flush=True)
    return f"{optimizer_name}执行结果"

if __name__ == '__main__':
    # 创建进程池，进程数可根据CPU核心数调整
    with multiprocessing.Pool(processes=5) as pool:
        # 任务列表
        optimizer_list = ["wilson", "wong", "zhang", "li", "wang"]
        # 使用map执行任务并等待全部完成
        results = pool.map(run_optimizer, optimizer_list)
    
    print("所有优化器任务执行完成!", flush=True)
    print("任务结果:", results)

额外注意事项 #

1. 输出刷新：Jupyter中多进程的print输出可能存在缓存，添加flush=True可强制实时显示。
2. 序列化问题：若优化器实例无法被序列化（如包含非picklable对象），需在任务函数内部重新初始化优化器，而非直接传递实例。
3. 调试技巧：若仍无输出，可将日志写入文件替代print，避免Jupyter输出缓存干扰，例如：

   def run_wilson():
       with open("wilson_log.txt", "w") as f:
           f.write("启动Wilson优化器\n")
           # 执行优化逻辑
           f.write("Wilson优化器执行完成\n")
   

内容的提问来源于stack exchange，提问作者Hana Ali