使用ProcessPoolExecutor并行导入同目录file_1函数报ModuleNotFoundError
问题原因
这个报错和多进程的启动模式直接相关:
Windows默认使用spawn模式启动子进程,该模式下子进程会完全重新初始化Python环境,仅继承环境变量配置,不会继承主进程运行时动态生成的模块搜索路径。当子进程需要导入主模块file_2.py获取并行执行的函数时,无法自动找到同目录的file_1.py,因此抛出模块找不到的错误。
你之前的测试结果完全符合这个逻辑:
- 顺序运行时,主进程启动时已自动把当前脚本目录加入搜索路径,导入正常
- 把函数代码内嵌到
file_2.py后,子进程不需要导入外部模块,自然不会报错
解决方法
方法1:显式将脚本目录加入模块搜索路径(一劳永逸,兼容所有环境)
在file_2.py的所有自定义模块导入之前,添加将当前脚本所在目录加入sys.path的代码。由于spawn模式下子进程会重新导入主模块,这段代码会在子进程启动时自动执行,确保能找到file_1。
修改后的file_2.py完整示例:
# 必须在导入自定义模块前执行路径配置 import os import sys # 将当前脚本所在的绝对目录加入模块搜索路径最前端 sys.path.insert(0, os.path.dirname(os.path.abspath(__file__))) import functools import numpy as np import concurrent.futures from file_1 import addition if __name__ == '__main__': lst = np.arange(10) cons = 100 partial = functools.partial(addition, b=cons) with concurrent.futures.ProcessPoolExecutor() as exc: res = list(exc.map(partial, lst))
方法2:运行时指定PYTHONPATH环境变量(无需修改代码)
如果不想修改脚本内容,可以在命令行启动时手动指定模块搜索路径,让子进程继承环境变量中的路径配置:
- Windows CMD:
set PYTHONPATH=%cd% && python file_2.py - PowerShell:
$env:PYTHONPATH = (Get-Location).Path; python file_2.py - Linux/macOS:
PYTHONPATH=$(pwd) python file_2.py
注意事项
- 不要把
from file_1 import addition这类自定义模块导入语句放在if __name__ == '__main__':块内,否则spawn模式下的子进程导入主模块时不会执行这段导入逻辑,仍然会报错 - 确保
file_1.py和file_2.py始终处于同一目录下,不要随意移动位置
内容的提问来源于stack exchange,提问作者iClemens
相关产品推荐
相关产品推荐

