Python多进程结合Jupyter %run命令传参失效问题求解

%run 是IPython环境专属的魔法命令，默认会继承主交互进程的全局命名空间：

• 串行执行时，你在主进程循环里定义的input = i属于主进程全局变量，%run可以正常读取，所以代码能跑通。
• 用multiprocessing启动多进程时，每个子进程是独立的Python解释器实例，既没有IPython主进程的魔法命令运行上下文，函数内部定义的input变量也属于子进程的函数局部作用域，%run根本访问不到，就会抛出input is not defined的错误。

注意：所有IPython魔法命令都不适合在多进程子进程里调用，很容易出现作用域混乱、上下文丢失的问题。

方案1：用papermill实现参数化notebook执行（最推荐，不需要改动原有notebook逻辑） #

papermill是专门用来参数化、批量执行Jupyter Notebook的工具，多进程下运行稳定，不需要依赖IPython魔法命令的作用域。

1. 先安装依赖：

   pip install papermill
   

2. 打开被调用的notebook.ipynb，给参数单元格打标签：
   • 选中你定义input变量的单元格
   • 点击顶部菜单栏「视图」→「单元格工具栏」→「标签」
   • 在标签输入框填parameters，点击添加，给这个单元格设个input的默认值比如input = 0即可
3. 替换原有执行逻辑，去掉%run魔法命令：

   import papermill as pm
   import os
   
   def function(i):
       try:
           print(f"当前处理参数: {i}")
           # 每个进程生成独立的输出notebook，避免多进程写同一个文件冲突
           output_nb = f"./run_result_{i}.ipynb"
           pm.execute_notebook(
               input_path="./notebook.ipynb",
               output_path=output_nb,
               parameters={"input": i}  # 显式传参，不依赖全局作用域
           )
           # 不需要保留执行后的notebook可以直接删掉
           # os.remove(output_nb)
       except Exception as e:
           print(f"参数{i}执行失败: {str(e)}")
   

4. 修正多进程调用逻辑，Windows/macOS下必须加主入口判断，否则会反复拉起进程：

   from multiprocessing import Pool, cpu_count
   from tqdm import tqdm
   
   if __name__ == "__main__":
       input_list= [1,  131,  312,  327,  348,  485,  469, 1218, 1329, 11212]
       # 进程数不要超过CPU逻辑核心数，避免内存溢出
       p = Pool(min(8, cpu_count()))
       # tqdm必须传total参数才能正常显示进度条
       for _ in tqdm(p.imap(function, input_list), total=len(input_list)):
           pass
       p.close()
       p.join()
   

方案2：将notebook转为普通Python脚本执行（性能最优） #

如果不需要保留notebook的单元格输出、交互特性，可以把被调用的notebook转成纯Python脚本，彻底脱离IPython环境依赖，执行效率更高。

1. 打开notebook.ipynb，点击顶部菜单栏「文件」→「下载」→「Python(.py)」，保存为notebook_task.py
2. 打开导出的py文件，把所有顶层执行的逻辑封装成接收input参数的函数，比如：

   # notebook_task.py
   def run(input):
       # 把原来notebook里所有的执行逻辑都放到这个函数里
       print(f"接收到参数{input}")
       # 原有业务逻辑...
   

3. 多进程执行函数里直接导入调用即可，不需要用任何魔法命令：

   from notebook_task import run
   
   def function(i):
       try:
           print(f"当前处理参数: {i}")
           run(input=i)
       except Exception as e:
           print(f"参数{i}执行失败: {str(e)}")
   

多进程调用的代码和方案1里的一致即可。这个方案的缺点是每次修改原notebook后都需要重新导出py文件，适合逻辑稳定的场景。

内容的提问来源于stack exchange，提问作者Nitheeswaran B