GCP负载均衡后端健康却返回failed_to_pick_backend 502错误排查

针对你遇到的GCP负载均衡返回failed_to_pick_backend导致502错误的情况，即使健康检查正常，也可以从以下几个方向排查：

• Pod服务监听地址限制
  虽然Pod状态显示Ready，但如果容器内的服务仅监听127.0.0.1而非0.0.0.0，外部（节点或负载均衡）将无法访问服务端口。可以进入Pod执行ss -tulpn命令，确认服务是否绑定到0.0.0.0:3000。

• 节点防火墙规则缺失
  GCP负载均衡需要访问节点的NodePort端口，默认GKE会创建允许LB IP段（130.211.0.0/22、35.191.0.0/16）访问NodePort范围的防火墙规则。如果该规则被修改或删除，会导致LB无法连接后端。可在GCP控制台检查是否存在k8s-fw-<集群名称>-<NodePort范围>格式的规则，确保规则生效。

• SSL终止与后端服务协议不匹配
  你的Ingress配置了托管证书并禁用HTTP，意味着负载均衡会在前端终止HTTPS连接，然后以HTTP协议转发请求到后端3000端口。如果Pod内的服务实际监听的是HTTPS端口（而非HTTP），LB的HTTP请求会被后端拒绝，进而触发failed_to_pick_backend。需确认后端服务是否在3000端口提供HTTP服务。

• NEG端点同步延迟（若使用NEG）
  虽然Pod的cloud.google.com/load-balancer-neg-ready状态为True，但GCP端的网络端点组（NEG）可能存在同步延迟。可在GCP控制台查看对应后端服务关联的NEG，确认是否有可用的端点记录。若你的Service未显式配置NEG（当前配置为NodePort），则需检查NodePort在节点上的可用性。

• 后端服务流量策略限制
  检查GCP后端服务的配置：是否设置了过高的会话亲和性导致流量集中到某几个端点，或触发了最大连接数限制。可通过GCP控制台查看后端服务的监控指标（如连接数、错误率），判断是否存在流量瓶颈。

• Ingress配置同步异常
  部分GKE版本可能存在Ingress Controller与GCP负载均衡的配置同步bug。可尝试删除并重新创建Ingress资源，或检查当前GKE版本是否有已知的相关问题，必要时升级集群版本。

内容的提问来源于stack exchange，提问作者Leonardo Henrique