创建Cloud Composer 2失败：GKE Pod健康异常及IAM角色排查求助

问题背景 #

创建Cloud Composer环境时失败，报错：

部分GKE Pod无法进入健康状态。请查看GKE日志获取详情并重试操作。

补充信息：

• 错误已持续2天未自行恢复
• 怀疑项目79xxxxxxx4中的service-79xxxxxxx@cloudcomposer-accounts.iam.gserviceaccount.com缺失roles/composer.ServiceAgentV2Ext角色，但已添加该角色仍失败
• 使用了自定义IAM角色，不确定是否包含所需全部权限
• 已查阅官方文档和故障排查指南未解决

1. 如何排查GKE日志定位Pod健康问题根源？ #

• 定位目标GKE集群：在Cloud Composer控制台找到失败的环境，查看关联的GKE集群名称
• 查看Pod状态与事件：
  1. 执行gcloud container clusters get-credentials <集群名称> --zone <集群区域>获取集群凭证
  2. 执行kubectl get pods -n <Composer命名空间>（通常格式为composer-<环境名称>-<随机串>），筛选出CrashLoopBackOff、Pending或Error状态的Pod
  3. 对异常Pod执行kubectl describe pod <Pod名称> -n <命名空间>，重点查看Events字段，排查资源不足、权限拒绝、镜像拉取失败等问题
• 查看Pod日志：
  对异常Pod执行kubectl logs <Pod名称> -n <命名空间>，若Pod已重启，加--previous参数查看上一次启动日志，搜索error、permission denied、timeout等关键词定位具体错误
• 过滤GCP日志：在Cloud Logging控制台选择对应GKE集群，设置过滤器：resource.type="k8s_pod" AND resource.labels.namespace_name="<Composer命名空间>" AND severity>=ERROR，快速筛选关键错误日志

2. 验证自定义IAM角色是否具备Cloud Composer所需全部权限？ #

• 对比官方角色权限：
  执行gcloud iam roles describe roles/composer.ServiceAgentV2Ext，获取该角色的完整权限列表，与自定义角色权限逐一对比，确认是否有遗漏
• 使用IAM权限分析工具：
  在GCP IAM控制台找到自定义角色，点击「权限分析」，选择目标服务账号，模拟执行Composer环境创建相关操作（如composer.environments.create、container.clusters.get等），查看是否有权限缺失提示
• 检查审计日志：
  在Cloud Logging控制台设置过滤器：resource.type="iam_role" AND protoPayload.methodName="google.iam.v1.IAMPolicy.CheckPermissions" AND protoPayload.authenticationInfo.principalEmail="<你的服务账号邮箱>" AND protoPayload.status.code!=0，查看是否有权限拒绝记录

3. 其他解决创建失败的替代方案 #

• 检查集群资源配置：确认GKE节点池有足够CPU、内存资源，满足Composer环境最低配置要求，可尝试调整节点池规格后重新创建
• 重置环境重新创建：删除当前失败的Composer环境，使用默认服务账号（或权限已确认完整的账号）重新发起创建，避免旧配置残留影响
• 排查网络配置：检查VPC防火墙规则是否允许Composer组件间通信（如开放8080、5432等端口），确认私有网络是否存在访问限制导致Pod无法正常交互
• 检查镜像拉取权限：确认服务账号具备访问GCR.io镜像仓库的权限，可尝试手动拉取Composer所需镜像测试是否正常
• 联系GCP技术支持：若以上方法均无效，提供环境创建完整日志、GKE Pod日志及IAM角色配置信息，请求官方技术支持协助排查

内容的提问来源于stack exchange，提问作者Dae-voo Kim