创建Google Cloud Dataproc集群失败：默认服务账号权限验证失败

一、服务账号的隐性权限缺失 #

• 针对你使用的特殊配置，默认Compute Engine服务账号可能缺少以下关键权限：
  • --enable-component-gateway：需要拥有 roles/iam.serviceAccountUser（用于代理组件网关的服务账号）和 roles/dataproc.gatewayAdmin（管理组件网关访问路径）权限。
  • --no-address：无公网IP集群要求服务账号具备 roles/compute.networkUser 权限，确保能在指定VPC内创建无公网IP实例；如果VPC有自定义防火墙规则，还要确认账号符合规则能访问内部资源。
  • JUPYTER组件：需要 roles/storage.objectCreator 和 roles/storage.objectViewer 权限，因为Jupyter会读写集群关联的GCS存储桶（默认临时桶或自定义桶）。
• 检查是否有条件性IAM政策限制：比如权限仅允许在特定区域、VPC生效，而你的集群配置（asia-northeast1区域、无公网IP）刚好触发了限制。

二、项目级配置冲突 #

• VPC网络问题：如果VPC启用了私有访问但配置错误，或子网IP范围不足以容纳集群节点，会导致网络访问失败，这类问题常被误报为权限验证错误。
• 组织级政策限制：组织可能禁止创建无公网IP实例、限制使用m2-megamem这类特殊机型，或限制Dataproc组件的使用，这些政策会覆盖项目级权限，触发验证失败。
• 配额不足：即使报错提示权限问题，若项目在asia-northeast1区域的Compute实例配额（如m2-megamem机型）、磁盘配额不足，也可能引发类似验证错误，建议先核查配额使用情况。

三、命令执行账号与集群服务账号的不匹配问题 #

• 确认执行gcloud命令的本地账号权限：即使集群指定了服务账号，执行创建操作的账号需要拥有 roles/dataproc.clusterAdmin，以及能为集群服务账号绑定权限的roles/iam.serviceAccountAdmin 权限。
• 检查集群服务账号状态：登录GCP控制台IAM页面，确认780299091403-compute@developer.gserviceaccount.com处于启用状态，未被删除或暂停。

四、快速验证方法 #

• 用命令直接核查服务账号的权限：

  gcloud projects get-iam-policy snappy-nomad-462123-c8 --filter="bindings.members:serviceAccount:780299091403-compute@developer.gserviceaccount.com" --format=json
  

  确认输出中包含roles/dataproc.worker、roles/compute.instanceAdmin.v1、roles/storage.objectAdmin（或对应细分权限）。
• 创建极简集群测试：去掉--no-address、--enable-component-gateway和JUPYTER组件，看是否能成功创建，以此缩小问题范围。

内容的提问来源于stack exchange，提问作者Lê Văn Đức