You need to enable JavaScript to run this app.
E-MapReduce

E-MapReduce

请输入
  • 文档首页
    • E-MapReduceEMR Serverless 队列操作指南提交作业RayJob 作业
复制全文
我的收藏
提交作业
RayJob 作业
复制全文
我的收藏
RayJob 作业

为满足用户通过 Ray 进行多模态数据处理等需求，EMR Serverless 支持用户进行 Ray 作业的提交和执行。开箱即用，无需额外的集群管理。

前提条件
  • 已创建 EMR Serverless 队列，且拥有该队列的 Developer/Admin 权限，操作详情请参见：创建资源队列、队列权限。
  • 已创建计算组，当前仅支持使用通用计算组、Ray计算组，操作详情请参见创建与管理计算组。
  • 已将作业文件上传至当前 Serverless 队列同区域的 TOS 桶中。

提交作业

提交作业：通过控制台

  1. 登录 EMR Serverless 控制台，在左侧导航栏单击 作业中心 > 作业管理，进入作业管理页面后单击右上角的”创建作业“，进入作业创建页面。
    Image
    您也可以在 Serverless 的队列/计算组页面的右上角单击“创建作业”，跳转至创建作业页面。

  2. 在作业创建页面配置作业参数。

    1. 配置作业基本信息与资源配置。
      Image

      • 自定义作业名称，作业类型选择 RayJob。
      • 选择作业运行的队列资源。

    2. 配置作业环境。
      Image

      参数

      配置说明

      任务主文件

      选择已上传至当前 Serverless 队列同区域的 TOS 桶中的主文件。

      入口命令

      RayJob提交的入口命令，通常为 python xxx.py。
      如有参数，一并加在该命令中即可。

    3. 高级配置。
      Image

      参数

      配置说明

      GCS高可用

      提交 RayJob 时，您可以在页面通过开关选择是否启用 GCS 高可用。

      说明

      • 如果您还不了解什么是 GCS 高可用，可以前往 GCS Fault Tolerance 查看相关介绍。
      • 通过 RayCluster 计算组提交 RayJob，将自动继承计算组的 GCS 高可用配置，无需额外配置。

      若选择启用，需要填写以下参数：

      • RedisURL：指定用于备份 GCS 的 Redis 实例，在 Redis 控制台创建实例后，在实例列表页，获取目标实例的私网域名/端口。
      • 密码：指定 Redis 实例密码，设置对应实例的默认账号（即 default 账号）密码。

      网络连接

      设置是否开启网络连接，开启后，需设置对应的VPC、子网、安全组。
      配置完成后，后续作业运行时，Ray 的 head/worker 节点可通过此处配置的 VPC 来访问企业 VPC 网络内的服务或资源。

      自定义参数

      根据作业实际情况添加作业自定义参数。

      存储挂载路径

      设置当前作业可能需要挂载的存储路径，详情请参见存储挂载概述。

  3. 完成作业编辑后，单击右下角的 创建并运行 按钮，提交作业。
    您也可以仅创建，后续在作业列表页面再手动触发任务运行。

提交作业：​通过 SDK

详细操作请参考：Serverless Ray 使用指南。

查看/运行/删除作业

作业创建完成后，您可以在作业列表页面查看所有已创建的作业，并可手动触发作业运行，或者对作业进行编辑修改、删除的操作。
Image

查看与诊断作业实例

在作业提交后，您也可以在 作业中心 > 作业实例 页面查看所有已提交的作业运行实例详情，包括运行状态、作业类型、资源详情、提交人等。
Image

  • 您可以在页面顶部通过实践范围、提交人等过滤条件快速筛选出待查看的作业实例，查看作业实例详情。
  • 对于运行失败的作业，您可单击“日志”，查看作业运行详细日志，进行作业失败原因定位；您也可以使用 “AI 诊断” 功能，进行作业智能诊断。

参考：RayJob 支持的自定义参数

分类

参数名

默认值

描述

配置示例/格式

镜像与启动

serverless.ray.entrypoint.cmd

无

启动 Ray 作业的命令。

python test.py

镜像与启动

serverless.ray.entrypoint.bundle.path

无

作业代码或依赖包的TOS地址。

tos://some-bucket/demo.zip

镜像与启动

serverless.customized.image.enabled

false

是否启用自定义镜像。

  • true：表示去客户的镜像仓库拉镜像
  • false：使用平台镜像仓库镜像

true

镜像与启动

serverless.ray.image

无

使用的镜像地址

emr-serverless-online-cn-beijing.cr.volces.com/emr-serverless-ray/ray:******-233

基础配置

serverless.ray.cluster.name

无

Ray 集群名称

基础配置

serverless.ray.runtime.env.json

无

运行时环境变量，JSON 格式

{"pip":["requests==2.26.0","pendulum==2.1.2","s3fs"],"env_vars":{"counter_name":"test_counter"}}

基础配置

serverless.ray.head.pod.env

无

Head Pod 的环境变量配置。

[{"name":"ENV_K1","value":"ENV_V1"}]

基础配置

serverless.ray.worker.pod.env

无

Worker Pod 的环境变量配置。

[{"name":"ENV_K1","value":"ENV_V1"}]

调度与部署

serverless.ray.autoscaler.options.idle.timeout.seconds

60

Worker 空闲自动释放时间（秒）

无

调度与部署

serverless.ray.enable.autoscaling

false

是否启用 Worker 的自动伸缩

无

调度与部署

serverless.ray.autoscaler.options.cpu

500m

自动伸缩中每个 Worker 的 CPU 配置，需配置为大于0的整数

无

调度与部署

serverless.ray.autoscaler.options.memory

512Mi

自动伸缩中每个 Worker 的内存配置，需配置为大于0的整数

无

网络与访问

serverless.cross.vpc.access.enabled

无

是否启用跨 VPC 访问

无

网络与访问

serverless.cross.vpc.accountId

无

跨 VPC 的目标账号 ID

无

网络与访问

serverless.cross.vpc.vpc.id

无

跨 VPC 的目标 VPC ID

无

网络与访问

serverless.cross.vpc.subnet.ids

无

跨 VPC 的目标子网 ID

无

网络与访问

serverless.cross.vpc.security.group.id

无

跨 VPC 的安全组 ID

无

网络与访问

serverless.cross.vpc.dns.resolve.enabled

false

是否启用跨 VPC 的 DNS 解析

无

资源配置

serverless.ray.head.cpu

1

Head 节点的 CPU 配额，需配置为大于0的整数

无

资源配置

serverless.ray.head.memory

2Gi

Head 节点的内存配额，需配置为大于0的整数，配置参数取值时需包含单位

无

资源配置

serverless.ray.head.gpu.amount

0

Head 节点的 GPU 数量，需配置为大于0的整数

无

资源配置

serverless.ray.head.gpu.vendor

nvidia.com

Head 节点的 GPU 厂商（如 NVIDIA）

无

资源配置

serverless.ray.worker.cpu

1

Worker 节点的 CPU 配额，需配置为大于0的整数

无

资源配置

serverless.ray.worker.memory

2Gi

Worker 节点的内存配额，需配置为大于0的整数，配置参数取值时需包含单位

无

资源配置

serverless.ray.worker.gpu.amount

0

Worker 节点的 GPU 数量，需配置为大于0的整数

无

资源配置

serverless.ray.worker.gpu.vendor

nvidia.com

Worker 节点的 GPU 厂商

无

资源配置

serverless.ray.worker.replicas

1

固定模式下 Worker 副本数量

无

资源配置

serverless.ray.worker.min.replicas

无

自动伸缩的最小 Worker 副本数，需配置为大于0的整数

无

资源配置

serverless.ray.worker.max.replicas

无

自动伸缩的最大 Worker 副本数，需配置为大于0的整数

无

资源配置

serverless.ray.start.params.head.num.cpus

无

启动 Head 节点时预留 CPU 核数

无

最近更新时间：2026.02.11 10:42:58
这个页面对您有帮助吗？
有用
有用
无用
无用