GKE Workload Identity生成STS联邦令牌时出现400错误求助

针对你遇到的偶发GCS上传失败、重启容器恢复的问题，核心原因是K8s ServiceAccount令牌过期后，应用或元数据服务器没有正确刷新令牌，导致用旧令牌请求STS服务被拒绝。以下是具体排查和解决步骤：

1. 升级Google Cloud Java客户端库 #

旧版本的Google Cloud Java客户端库（如google-cloud-storage）可能存在令牌缓存逻辑缺陷，无法正确适配GKE的ServiceAccount令牌自动轮换（1.24+默认启用，令牌有效期1小时）。直接升级到最新稳定版，让客户端库自动处理令牌刷新。

2. 检查应用的令牌缓存逻辑 #

如果应用有手动获取并缓存令牌的代码，务必删除这种逻辑。依赖客户端库的内置凭据管理机制，它会自动监听令牌文件的更新，在令牌过期前自动刷新。

3. 调整GKE元数据服务器的令牌缓存TTL #

GKE元数据服务器默认缓存STS返回的联邦令牌，如果缓存时间过长，可能导致缓存的令牌过期。可以通过集群更新命令调整缓存时间，建议设置为小于K8s令牌有效期（比如5分钟）：

gcloud container clusters update CLUSTER_NAME --region REGION --workload-metadata-config=mode=GKE_METADATA_SERVER,token-cache-ttl=300s

4. 验证ServiceAccount令牌轮换配置 #

• 确认应用使用的K8s ServiceAccount的automountServiceAccountToken设置为true（默认值），避免使用静态令牌；
• 进入Pod内检查令牌过期时间，确保是默认的1小时：

  jq -r '.exp' /var/run/secrets/kubernetes.io/serviceaccount/token | xargs -I {} date -d @{}
  

5. 添加错误重试逻辑 #

在GCS上传代码中针对invalid_grant错误添加指数退避重试，强制触发凭据刷新：

import com.google.cloud.storage.Storage;
import com.google.cloud.storage.StorageOptions;
import com.google.api.gax.retrying.RetrySettings;
import org.threeten.bp.Duration;

public class GcsUploader {
    public static void main(String[] args) {
        RetrySettings retrySettings = RetrySettings.newBuilder()
                .setInitialRetryDelay(Duration.ofSeconds(1))
                .setMaxRetryDelay(Duration.ofSeconds(10))
                .setRetryDelayMultiplier(2.0)
                .setTotalTimeout(Duration.ofMinutes(5))
                .build();

        Storage storage = StorageOptions.newBuilder()
                .setRetrySettings(retrySettings)
                .build()
                .getService();

        // 执行GCS上传操作
    }
}

内容的提问来源于stack exchange，提问作者Ritesh Kumar