创建Cloud Composer V1环境持续超时，求解决方案及配置建议

排查与解决步骤 #

• 检查资源配额：确认目标地域的Compute Engine资源配额（CPU、内存、磁盘等）是否充足，尤其是n1-standard系列实例的配额。配额不足会直接导致组件部署失败，可提交配额提升申请。
• 验证网络配置：
  • 自定义VPC场景下，确保子网有足够IP地址（建议至少/24网段），且防火墙规则未阻止GCP内部服务间的通信，比如禁止10.0.0.0/8等私网流量。
  • 避免使用需要代理的环境，Composer拉取依赖需访问内部服务和公共仓库，代理配置错误会引发超时。
• 指定稳定组件版本：部分新版本Airflow或Composer依赖在特定地域存在兼容性问题，可尝试指定经过验证的稳定版本，比如Airflow 1.10.15搭配Composer 1.20.x，避开预览版。
• 延长超时等待时间：通过gcloud命令创建时，增加--operation-polling-timeout参数延长超时阈值，示例：

  gcloud composer environments create your-env-name --location your-region --airflow-version 1.10.15 --operation-polling-timeout 3600
  

• 重试或切换可用区：部分地域可能临时资源短缺，可尝试同区域内的其他可用区，或间隔一段时间后重试。

成功创建的推荐配置 #

• 基础资源：
  • 节点类型：选用n1-standard-2及以上实例，避免过小节点因资源不足拖慢部署。
  • 节点数量：至少2个工作节点，保证组件部署有冗余资源。
  • 磁盘大小：默认20GB即可，后续按需调整至50GB以上用于存储DAG或日志。
• 网络：
  • 优先使用默认VPC；自定义VPC需开启自动子网创建，确保子网IP范围足够。
  • 防火墙规则允许私网内部流量及Composer所需端口（如8080、5432）。
• 组件版本：
  • Composer版本：选择1.20.x-1.28.x区间的稳定版，兼容性更可靠。
  • Airflow版本：搭配1.10.12-1.10.15的稳定版，Composer V1对Airflow 2.x支持有限。
• 其他设置：
  • 暂时禁用不必要的附加组件（如高级监控配置），创建完成后再逐步添加。
  • 确保项目已启用必需API：composer.googleapis.com、compute.googleapis.com、cloudresourcemanager.googleapis.com、storage.googleapis.com。

错误Composer operation timed out internal dependencies of Composer本质是依赖组件（调度器、元数据库、Worker节点等）部署超时，核心诱因是资源不足、网络阻塞或版本兼容性问题。

内容的提问来源于stack exchange，提问作者designil