Dataproc自定义镜像创建报错:找不到对应dataproc-version的基础镜像
报错原因
- 版本命名不符合官方规范:Dataproc 公开基础镜像的 Ubuntu 版本后缀需要标注完整发行版本号,Ubuntu 18.04 对应的后缀为
ubuntu1804,你填写的ubuntu18不符合命名规则,导致无法匹配到对应镜像。 - 构建脚本版本过旧:当前使用的
generate_custom_image.py脚本版本较低,内置支持的 Dataproc 版本列表中未收录1.5.48这个子版本,无法自动匹配到对应基础镜像路径。 - 指定的 Dataproc 版本已下架:Dataproc 1.5.x 版本早已结束标准支持周期,部分老旧子版本的基础镜像已被官方从公共镜像库中移除,不再公开提供。
- 权限或网络限制:执行脚本的账号没有访问 Google Cloud 公共 Dataproc 基础镜像的权限,或者执行环境的网络无法正常访问 Google Cloud 镜像仓库。
解决方案
- 修正版本号格式:将命令中的
--dataproc-version参数值修改为符合官方规范的格式,改为1.5.48-ubuntu1804后重新执行构建命令。 - 更新构建脚本:获取最新版的 Dataproc 官方自定义镜像构建脚本,替换当前使用的旧版本,确保脚本内置的版本支持列表为最新状态。
- 更换为在支持期内的版本:优先使用仍在标准支持期内的 Dataproc 版本(如 2.0.x、2.1.x 系列版本),避免使用已停止服务的旧版本,例如将参数调整为
--dataproc-version 2.1.14-ubuntu2004。 - 手动指定基础镜像路径:如果确认需要使用 1.5.48 版本,可通过
--base-image-uri参数直接传入基础镜像的完整 URI,跳过自动匹配步骤,命令示例如下:
python generate_custom_image.py --image-name 1.5.48-ubuntu18-custom --base-image-uri <你的基础镜像完整URI> --customization-script my-customization-script.sh --zone us-central1 --gcs-bucket gs://dataproc-327519-imgs
- 检查权限与网络:确认执行脚本的账号拥有
compute.images.get权限,同时确保执行环境的网络可以正常访问 Google Cloud 相关服务。
内容的提问来源于stack exchange,提问作者Naga Vijayapuram
相关产品推荐
相关产品推荐

