Cloud Composer中KubernetesPodOperator调用Docker访问Form API遇403错误

错误根源 #

你的Java应用在尝试从GCE元数据服务器获取访问令牌时，未正确添加Metadata-Flavor: Google请求头，导致元数据服务器拒绝请求并返回403。结合Workload Identity的使用场景，以下是针对性解决步骤：

1. 二次验证Workload Identity配置 #

即便你已完成绑定，仍需确认两点：

• K8s默认服务账户（default/default）已正确绑定到具备Google Form API访问权限的GCP服务账户（需包含forms.responses.readonly等必要权限）
• GKE集群已启用Workload Identity，且default命名空间的cloud.google.com/workload-identity注解配置正确

2. 调整KubernetesPodOperator配置 #

在DAG代码中显式开启Workload Identity支持，确保Pod能正确获取凭据：

kubernetes_min_pod = KubernetesPodOperator(
        task_id='google-form-importer',
        name='google-form-importer',
        namespace='default',
        service_account_name='default',
        image='your-image-path',
        arguments=["An_argument"],
        get_logs=True,
        image_pull_policy='Always',
        log_events_on_failure=True,
        env_vars= {
            'ALL_ENVS':'ItsValue',
            # 显式指定凭据路径，避免应用 fallback 到GCE元数据逻辑
            'GOOGLE_APPLICATION_CREDENTIALS': '/var/run/secrets/google.com/service-account/token'
        },
        # 配置安全上下文，确保Pod能访问Workload Identity凭据卷
        security_context={
            'fsGroup': 65534,
            'runAsNonRoot': True,
            'runAsUser': 65534
        },
        # 显式挂载Workload Identity凭据卷（Cloud Composer 2.x默认支持，显式配置更稳妥）
        volumes=[
            {
                'name': 'gcp-service-account',
                'secret': {
                    'secretName': 'workload-identity-token'
                }
            }
        ],
        volume_mounts=[
            {
                'name': 'gcp-service-account',
                'mountPath': '/var/run/secrets/google.com/service-account',
                'readOnly': True
            }
        ]
) 

3. 修改Java应用的凭据获取逻辑 #

你的应用当前使用的ComputeEngineCredentials是针对GCE VM的凭据方式，在Workload Identity环境下需调整：

• 升级Google Auth客户端库到最新版本，新版本会自动识别Workload Identity环境
• 替换手动初始化的ComputeEngineCredentials为默认凭据提供者：

Credentials credentials = GoogleCredentials.getApplicationDefault();

该方式会自动从Workload Identity提供的令牌路径获取凭据，无需直接访问元数据服务器，从根源避免头缺失问题。

4. 容器内环境验证 #

可临时修改Pod命令进入容器，验证以下内容：

• 环境变量GOOGLE_APPLICATION_CREDENTIALS是否存在
• /var/run/secrets/google.com/service-account/token文件是否可读
• 手动调用元数据服务器测试权限：

curl -H "Metadata-Flavor: Google" http://metadata.google.internal/computeMetadata/v1/instance/service-accounts/default/token

若能获取令牌，说明网络和权限无问题，问题出在应用代码的凭据逻辑。

内容的提问来源于stack exchange，提问作者sridar1992