使用GCP Composer创建Dataproc集群失败求助

核心错误：集群已存在（HttpError 409） #

• 错误信息明确指出集群 projects/project/regions/us-east4/clusters/ltvo-wkf-ltvo-sdm-it-dly 已存在，重复创建操作触发409冲突错误。
• 解决方式：
  • 登录GCP控制台，进入Dataproc集群列表，确认该集群状态：
    1. 若集群无需保留，直接删除后重新执行Airflow任务。
    2. 若需复用现有集群，修改Airflow任务逻辑，跳过集群创建步骤，直接指向该集群执行后续任务。
  • 优化任务重试逻辑：如果任务之前失败但集群已创建成功，重试时会重复触发创建操作。可在任务中添加集群存在性检查，或使用Airflow DataprocOperator的skip_if_exists参数（若版本支持）避免重复创建。

认证日志提示的处理 #

日志中 Getting connection using google.auth.default() since no key file is defined for hook 是信息级提示，并非错误，但可按需优化：

• 若需指定服务账号密钥，在Composer的Airflow连接配置中，找到google_cloud_default连接，添加密钥文件路径或JSON内容。
• 若使用Composer默认服务账号，只要该账号拥有Dataproc集群创建权限，此提示可忽略。

初始化脚本注意事项 #

你的初始化脚本存在以下潜在问题，需确认：

• main函数会检查PACKAGES变量是否为空，为空则直接退出。创建Dataproc集群时，必须通过metadata传递PIP_PACKAGES参数，否则初始化脚本失败会导致集群创建异常。
• 注释中的自定义包安装代码（mysqlclient、protobuf）若需启用，需修正GCS路径格式为gs://bucket/path/file，同时确保集群服务账号拥有该GCS桶的读取权限。

内容的提问来源于stack exchange，提问作者Ankit Patel