You need to enable JavaScript to run this app. 使用ProcessPoolExecutor并行导入同目录file_1函数报ModuleNotFoundError
优惠活动
大模型
产品
解决方案
定价
更多

使用ProcessPoolExecutor并行导入同目录file_1函数报ModuleNotFoundError

问题原因

这个报错和多进程的启动模式直接相关:
Windows默认使用spawn模式启动子进程,该模式下子进程会完全重新初始化Python环境,仅继承环境变量配置,不会继承主进程运行时动态生成的模块搜索路径。当子进程需要导入主模块file_2.py获取并行执行的函数时,无法自动找到同目录的file_1.py,因此抛出模块找不到的错误。
你之前的测试结果完全符合这个逻辑:

  • 顺序运行时,主进程启动时已自动把当前脚本目录加入搜索路径,导入正常
  • 把函数代码内嵌到file_2.py后,子进程不需要导入外部模块,自然不会报错
解决方法

方法1:显式将脚本目录加入模块搜索路径(一劳永逸,兼容所有环境)

在file_2.py的所有自定义模块导入之前,添加将当前脚本所在目录加入sys.path的代码。由于spawn模式下子进程会重新导入主模块,这段代码会在子进程启动时自动执行,确保能找到file_1。

修改后的file_2.py完整示例:

# 必须在导入自定义模块前执行路径配置
import os
import sys
# 将当前脚本所在的绝对目录加入模块搜索路径最前端
sys.path.insert(0, os.path.dirname(os.path.abspath(__file__)))

import functools
import numpy as np
import concurrent.futures
from file_1 import addition

if __name__ == '__main__':
    lst = np.arange(10)
    cons = 100
    
    partial = functools.partial(addition, b=cons)
    with concurrent.futures.ProcessPoolExecutor() as exc: 
        res = list(exc.map(partial, lst))

方法2:运行时指定PYTHONPATH环境变量(无需修改代码)

如果不想修改脚本内容,可以在命令行启动时手动指定模块搜索路径,让子进程继承环境变量中的路径配置:

  • Windows CMD:set PYTHONPATH=%cd% && python file_2.py
  • PowerShell:$env:PYTHONPATH = (Get-Location).Path; python file_2.py
  • Linux/macOS:PYTHONPATH=$(pwd) python file_2.py
注意事项
  • 不要把from file_1 import addition这类自定义模块导入语句放在if __name__ == '__main__':块内,否则spawn模式下的子进程导入主模块时不会执行这段导入逻辑,仍然会报错
  • 确保file_1.py和file_2.py始终处于同一目录下,不要随意移动位置

内容的提问来源于stack exchange,提问作者iClemens

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.23 13:24:04