Cloud Composer运行DAG遇403权限错误及令牌获取失败求助

错误分析 #

• K8s API返回403禁止错误，显示system:anonymous用户无权限在customnamespace中列出pod资源，说明请求K8s API时未携带有效身份凭证。
• 配套的Failed to retrieve access token:: failure while executing gcloud错误，表明Airflow组件无法通过gcloud获取有效的访问令牌，导致身份认证失败，最终以匿名身份发起请求。

排查与解决步骤 #

1. 检查Composer服务账号密钥有效性 #

即使服务账号角色未变更，密钥过期或被删除会直接导致无法获取访问令牌：

• 列出目标服务账号的所有密钥：

  gcloud iam service-accounts keys list --iam-account=<你的Composer服务账号邮箱>
  

• 若发现密钥已过期或缺失，重新创建密钥并确保Composer环境使用该密钥（Composer通常会自动关联服务账号密钥，但手动操作后需确认配置）。

2. 绑定K8s命名空间级权限 #

确认Composer服务账号在customnamespace中有足够的K8s资源访问权限：

• 为服务账号绑定view角色（满足列出pod的最小权限需求）：

  kubectl create rolebinding composer-pod-view-access \
    --clusterrole=view \
    --serviceaccount=default:<你的Composer服务账号邮箱> \
    --namespace=customnamespace
  

• 若需要更高级操作，可替换clusterrole为edit或自定义角色。

3. 验证gcloud SDK兼容性 #

composer-2.3.5-airflow-2.5.3镜像中的gcloud版本可能存在兼容性问题：

• 在Airflow Worker节点中执行gcloud --version查看版本，若版本过旧，考虑升级Composer环境到更高兼容版本，或在DAG中指定正确的gcloud命令路径。

4. 检查网络与防火墙配置 #

确保Composer节点能正常访问GCP IAM和K8s API服务：

• 验证VPC防火墙规则未阻止对iam.googleapis.com和K8s API端点的出站请求。
• 若使用代理，确认代理配置正确，允许gcloud访问相关服务。

5. 获取完整gcloud错误日志 #

原日志中未显示gcloud命令的完整参数和错误详情，需查看Airflow的完整日志，定位token获取失败的具体原因（如权限范围错误、网络超时等）。

内容的提问来源于stack exchange，提问作者MG_