AI 数据湖支持用户上传自定义算子,在上传自定义算子时,需要填写算子的运行环境。例如,算子是基于 Spark 计算框架开发的,用户需要提供保护 Spark 及其相关依赖的 Docker 镜像。
同时,AI 数据湖也提供部分内置镜像,用户可以根据业务需求进行选择,也可以基于这些镜像开发自定义镜像。自定义镜像的操作指南可以参考:使用自定义 Docker 镜像运行作业。
Region(中文名称) | Region(英文名称) | 镜像仓库名称 | 镜像说明 | 镜像大小 | 备注依赖包 |
---|---|---|---|---|---|
华北 | cn-beijing | emr-vke-public-cn-beijing.cr.volces.com/emr/ray:2.44.0-cu12.2.2-py3.11-ubuntu22.04-493-3.15.1 | 包含 Ray 及其所需依赖的镜像,内置有 Conda、Java8、Hadoop 服务。 | 8GB |
|
您也可以参考 Ray 镜像列表,选择您合适的镜像。
Region(中文名称) | Region(英文名称) | 镜像仓库名称 | 镜像说明 | 镜像大小 | 备注依赖包 |
---|---|---|---|---|---|
华北 | cn-beijing | emr-serverless-online-cn-beijing.cr.volces.com/public/spark:3.5.1-py3.12-ubuntu20.04-358 | 包含 Spark 及其所需依赖的镜像,内置有 Java8、Hadoop 等服务。 | 1.68GiB |
|
您也可以参考 Spark 镜像列表,选择您合适的镜像。