如何在Jupyter Notebook中调用外部Python多进程脚本并解决__main__判断问题？

可行性结论 #

完全可行，针对if __name__ == '__main__':判断失效导致多进程无法执行的问题，提供以下3种实用解决办法：

方案1：重构脚本逻辑，封装多进程入口为独立函数 #

把原本放在if __name__ == '__main__':块内的多进程启动代码抽离成可直接调用的函数，既保留脚本的命令行执行能力，也支持Jupyter导入调用：

# 你的多进程脚本 my_multiprocess_script.py
import multiprocessing

def worker_task(num):
    # 定义子进程执行的任务
    return num * 2

def run_multiprocess(input_list):
    # 封装多进程执行逻辑
    with multiprocessing.Pool() as pool:
        return pool.map(worker_task, input_list)

# 保留原命令行执行入口
if __name__ == '__main__':
    sample_args = [1,2,3,4]
    print(run_multiprocess(sample_args))

在Jupyter Notebook中直接导入调用：

from my_multiprocess_script import run_multiprocess

# 传入自定义参数
input_data = [5,6,7,8]
process_results = run_multiprocess(input_data)
print(process_results)

方案2：设置多进程启动方法+直接调用脚本逻辑 #

针对Windows/macOS系统，在Jupyter中显式设置多进程启动方法为spawn，避免__name__判断问题：

# Jupyter Notebook代码块
import multiprocessing
import my_multiprocess_script

# 强制设置spawn启动方法（解决Jupyter环境下的__name__判断问题）
multiprocessing.set_start_method('spawn')

# 调用脚本中的多进程函数
results = my_multiprocess_script.run_multiprocess([10,20,30])
print(results)

如果不想修改原脚本，也可以通过子进程模拟命令行执行脚本：

import subprocess
import sys

# 调用脚本并传入命令行参数，捕获输出
proc_result = subprocess.run(
    [sys.executable, 'my_multiprocess_script.py', 'arg1', 'arg2'],
    capture_output=True,
    text=True
)
# 打印脚本输出结果
print(proc_result.stdout)

方案3：改用concurrent.futures.ProcessPoolExecutor #

ProcessPoolExecutor对Jupyter环境的兼容性更好，无需依赖if __name__ == '__main__':判断即可正常启动多进程：

# 脚本中替换为ProcessPoolExecutor实现
from concurrent.futures import ProcessPoolExecutor

def worker_task(num):
    return num * 2

def run_multiprocess(input_list):
    with ProcessPoolExecutor() as executor:
        return list(executor.map(worker_task, input_list))

在Jupyter中直接导入调用该函数即可，无需额外配置。

内容的提问来源于stack exchange，提问作者Grk38