使用Airflow DataprocCreateClusterOperator创建Dataproc集群时Cloud SQL代理初始化失败求助

我之前也碰到过几乎一模一样的场景，给你几个实用的排查和解决方向：

1. 先确认初始化脚本本身的有效性 #

• 优先使用官方初始化脚本：你现在用的是自定义脚本，建议换成Google官方维护的版本，避免脚本本身的语法或逻辑错误。官方脚本路径格式是 gs://goog-dataproc-initialization-actions-{{你的集群区域}}/cloud-sql-proxy/cloud-sql-proxy.sh，比如集群在us-central1的话，路径就是gs://goog-dataproc-initialization-actions-us-central1/cloud-sql-proxy/cloud-sql-proxy.sh。
• 检查脚本的GCS权限：确保Dataproc集群的服务账号（默认是{{项目编号}}-compute@developer.gserviceaccount.com）有读取这个GCS脚本的权限。可以用命令gsutil acl get gs://<<some_gcs_bucket>>/cloud-sql-proxy.sh查看权限配置，必要时添加storage.objects.get权限。

2. 核对Metadata参数的正确性 #

• additional-cloud-sql-instances格式必须精准：这个参数需要的是Cloud SQL实例的完整连接名称，你可以直接去Cloud SQL控制台的实例详情页复制“连接名称”字段（格式为PROJECT_ID:REGION:INSTANCE_NAME，注意是实例所在的区域，不是集群区域），手动输入很容易写错区域或实例名。
• enable-cloud-sql-hive-metastore设置没问题：你设为false是正确的，因为你不是用Cloud SQL作为Hive元存储，只是要访问Cloud SQL实例。

3. 检查服务账号的权限配置 #

虽然你已经添加了sqlservice.admin和cloud-platform scope，但建议确认集群使用的服务账号是否拥有Cloud SQL Client角色（或至少包含cloudsql.instances.connect权限）——这个权限是Cloud SQL代理连接实例的必要条件。

4. 一定要查看初始化脚本的输出日志 #

报错信息里已经给出了日志路径：gs://<<some_gcs_bucket>>/dataproc-initialization-script-0_output，这是最直接的问题线索！打开这个日志文件，你能看到脚本执行到哪一步失败了：是下载Cloud SQL代理二进制文件失败？还是代理启动时无法连接到SQL实例？或者是权限不足导致的操作失败？我之前就是通过日志发现自己写错了SQL实例的连接名称。

正确配置示例参考 #

如果用官方初始化脚本，配置大概是这样的：

"initialization_actions": [
  {
    "executable_file": "gs://goog-dataproc-initialization-actions-us-central1/cloud-sql-proxy/cloud-sql-proxy.sh"
  }
],
"gce_cluster_config": {
  "service_account_scopes": [
    "https://www.googleapis.com/auth/cloud-platform"
  ],
  "metadata": {
    "additional-cloud-sql-instances": "你的项目ID:实例区域:SQL实例名",
    "enable-cloud-sql-hive-metastore": "false"
  }
}

内容的提问来源于stack exchange，提问作者Rajnil Guha