GKE Workload Identity环境发布到Pub/Sub间歇性权限错误排查

1. PHP客户端令牌刷新竞态漏洞
   你使用的1.30.2版本google/cloud-pubsub依赖的旧版google/auth认证库存在并发令牌刷新竞态问题：当存储的OIDC访问令牌过期时，若同时有多个发布请求触发令牌刷新逻辑，会有概率出现令牌获取失败的情况，此时客户端会错误 fallback 到API密钥认证逻辑，就会抛出The request is missing a valid API key的403错误。从你的统计数据也能看出，错误率和发布流量正相关，流量高峰时段错误数明显更高，符合并发竞态的特征。

2. GKE元数据服务间歇性异常
   Workload Identity依赖Pod访问节点上的GKE元数据服务（metadata.google.internal）获取服务账号令牌，当节点CPU/内存压力过高、元数据服务QPS超限、kube-proxy规则波动时，会出现间歇性的请求失败/超时，客户端拿不到有效令牌就会触发上述API密钥 fallback 逻辑。

3. PHP运行时令牌缓存隔离问题
   如果使用PHP-FPM模式运行，不同worker进程默认无法共享令牌缓存，每个worker都需要单独向元数据服务请求令牌，会大幅提高令牌请求频率，既加大了元数据服务的压力，也提升了竞态问题出现的概率。

• 优先升级依赖包：将google/cloud-pubsub升级到最新稳定版，同时同步升级底层的google/auth依赖，该竞态漏洞在新版auth库中已经修复。
• 开启客户端调试日志：初始化Pub/Sub客户端时开启debug选项，捕获认证阶段的请求日志，确认报错时段是否存在元数据服务请求失败的情况。
• 监控元数据服务可用性：在Pod内添加定时探测，定期请求元数据服务的令牌接口，统计成功率和延迟，确认权限错误是否和元数据服务异常时间点吻合。
• 显式关闭API密钥 fallback：初始化客户端时显式指定认证方式为服务账号模式，禁止 fallback 到API密钥认证，后续出现令牌获取失败时会直接抛出明确的令牌获取错误，更方便定位问题。
• 优化令牌缓存机制：如果使用PHP-FPM，可以改用APCu等共享缓存存储令牌，让所有worker进程共用同一个令牌缓存，降低令牌请求频率，减少元数据服务压力和竞态出现概率。

内容的提问来源于stack exchange，提问作者Lindsay Snider