Composer 2 GKE Autopilot集群PodOperator任务GCP认证401配置咨询

问题根因 #

Composer 2默认搭载的GKE Autopilot集群强制启用Workload Identity机制，你通过KubernetesPodOperator/GKEStartPodOperator拉起的任务Pod，默认使用运行命名空间下的Kubernetes服务账号获取凭证，该账号未与有权限访问BigQuery、GCS等GCP服务的GCP服务账号绑定，因此拿到的凭证无对应资源权限，返回401错误。

配置步骤 #

• 第一步：确认要使用的GCP服务账号（即Composer 1环境中正常使用的、具备目标GCP服务权限的服务账号，记为<GCP_SA_EMAIL>，格式为xxx@<你的项目ID>.iam.gserviceaccount.com）
• 第二步：给该GCP服务账号授予Workload Identity模拟权限，执行gcloud命令：

gcloud iam service-accounts add-iam-policy-binding <GCP_SA_EMAIL> \
  --role roles/iam.workloadIdentityUser \
  --member "serviceAccount:<你的项目ID>.svc.id.goog[<Composer工作命名空间>/<Kubernetes服务账号名>]"

其中<Composer工作命名空间>为Composer 2集群中运行Airflow任务的命名空间，一般为前缀带composer-的命名空间，可在GKE控制台查询；<Kubernetes服务账号名>可使用命名空间下已有的服务账号，也可新建专用账号。

• 第三步：给Kubernetes服务账号添加绑定注解，执行kubectl命令：

kubectl annotate serviceaccount <Kubernetes服务账号名> \
  --namespace <Composer工作命名空间> \
  iam.gke.io/gcp-service-account=<GCP_SA_EMAIL>

• 第四步：修改你的PodOperator任务代码，指定任务Pod使用上述绑定完成的Kubernetes服务账号：
  给KubernetesPodOperator/GKEStartPodOperator添加参数service_account_name="<Kubernetes服务账号名>"，命名空间参数和你配置的<Composer工作命名空间>保持一致即可。

简化可选方案 #

你也可以直接使用Composer 2默认的Airflow Worker Kubernetes服务账号，该账号默认已绑定Composer环境的默认服务账号，只需给该默认GCP服务账号添加BigQuery、GCS的对应访问权限，再在PodOperator参数中指定使用默认Worker服务账号即可，无需额外配置绑定关系。

内容的提问来源于stack exchange，提问作者Ian