Google Cloud Dataflow无法从Artifact Registry拉取镜像求助

问题核心 #

你本地能拉取镜像，是因为用了个人账号的授权（通过gcloud auth configure-docker配置），但Dataflow作业运行时使用的是Google Cloud的服务账号，这个账号缺少从Artifact Registry下载镜像的关键权限artifactregistry.repositories.downloadArtifacts。

解决步骤 #

• 确定Dataflow使用的服务账号：
  默认情况下，Dataflow会使用[你的项目编号]-compute@developer.gserviceaccount.com这个Compute Engine默认服务账号；如果作业指定了自定义服务账号，以实际配置的账号为准。

• 给服务账号添加权限：
  方法一（控制台操作）：

  1. 打开Google Cloud控制台的IAM页面
  2. 找到对应服务账号，点击"编辑权限"
  3. 添加Artifact Registry Reader角色（该角色包含所需的下载权限）

  方法二（gcloud命令）：

  gcloud projects add-iam-policy-binding [你的项目ID] \
    --member="serviceAccount:[服务账号完整邮箱]" \
    --role="roles/artifactregistry.reader"
  

• 验证修复效果：
  重新提交Dataflow Flex Template作业，检查日志是否还出现权限报错。

额外注意事项 #

• 如果镜像存放在跨项目的Artifact Registry仓库，需要在目标仓库的IAM设置中，同样给Dataflow的服务账号添加Artifact Registry Reader角色
• 遵循最小权限原则，不要给服务账号分配超出需求的角色（比如避免直接用Owner角色）

内容的提问来源于stack exchange，提问作者徐ジョケイキ