如何运行依赖项目代码的Ray任务 解决模块不存在报错

这个报错的核心原因是Ray的远程工作节点无法识别你本地的项目自定义包路径，没有对应的model、utils、compute模块导入源，可按场景选择以下方案解决：

方案1：runtime_env同步代码（最适合本地调试/小规模集群） #

在初始化Ray的时候通过runtime_env配置，把项目根目录（包含model、utils、compute三个文件夹的上级目录）同步到所有远程工作节点：

import ray
from pathlib import Path

# 按你自己的启动脚本位置调整，拿到项目根目录，示例中根目录为/Users/me/proj/
proj_root = Path(__file__).parent.parent # 若启动脚本在compute文件夹下，向上跳两级即可到根目录

ray.init(
    runtime_env={
        # 同步整个项目根目录到远程节点的工作目录，会自动加入Python导入路径
        "working_dir": str(proj_root)
        # 若只需同步三个自定义包，也可以指定py_modules参数
        # "py_modules": [str(proj_root/"model"), str(proj_root/"utils"), str(proj_root/"compute")]
    }
)

注意：可以在项目根目录下新建.rayignore文件，把日志、大体积模型权重、虚拟环境目录等不需要同步的文件列进去，减少同步耗时。

方案2：手动配置全局Python路径（适合固定开发集群） #

如果你的Ray集群节点固定，不需要每次运行都同步代码，可以直接在所有工作节点的Shell配置文件（比如_/.bashrc、/.zshrc）中加一行环境变量配置，把项目根目录加入PYTHONPATH：

export PYTHONPATH="/你的项目根目录绝对路径:$PYTHONPATH"

配置完成后重启所有Ray节点，原有代码不需要修改即可正常运行。

方案3：打包安装项目包（适合生产环境） #

长期运行的生产项目推荐把自定义包打包成标准Python安装包，在所有Ray节点统一安装，不需要额外配置路径：

1. 在项目根目录新建pyproject.toml配置文件，示例如下：

[build-system]
requires = ["setuptools>=61.0"]
build-backend = "setuptools.build_meta"

[project]
name = "你的项目名"
version = "0.1.0"
packages = ["model", "utils", "compute"]

2. 在所有Ray节点的项目根目录执行pip install .完成包安装即可。

额外排查点 #

如果配置后还是报错，优先检查两个细节：

• 在model、utils、compute三个文件夹下各放一个空的__init__.py文件，兼容低版本Ray的包识别逻辑
• 所有导入语句使用绝对导入，不要用相对导入

内容的提问来源于stack exchange，提问作者Julias