GKE中Envoy代理Python gRPC服务报no healthy upstream错误排查

1. 确认gRPC服务端本身可用性 #

• 直接在服务端容器/节点内用grpcurl验证服务：

  grpcurl -plaintext localhost:50051 list
  

  若无法返回服务列表，说明服务端代码存在问题：检查监听地址是否绑定0.0.0.0（而非127.0.0.1，否则仅本地可访问）、服务是否正确注册到gRPC server。
• 检查GKE服务端的Service配置：
  • 确保Service的targetPort与服务端监听端口一致；
  • 执行kubectl describe service <service-name>查看Endpoints，若为空，说明Pod未就绪或Service标签与Pod不匹配。

2. 检查Envoy上游集群配置 #

• 确认集群负载均衡策略：gRPC推荐使用ROUND_ROBIN或LEAST_REQUEST，避免使用不兼容的策略。
• 验证上游端点配置：检查Envoy YAML中load_assignment的端点是否指向服务端的Service IP/端口或Pod IP；在Envoy容器内ping该IP，确认可访问。
• 检查健康检查配置：这是触发该错误的最常见原因。Envoy若未配置健康检查或健康检查规则不匹配，会将上游标记为不健康：
  • 需配置gRPC类型的健康检查，示例：

    health_checks:
    - timeout: 1s
      interval: 5s
      unhealthy_threshold: 2
      healthy_threshold: 2
      grpc_health_check:
        service_name: "your.grpc.service.name"
    

  • 同时确保Python服务端实现了gRPC健康检查服务（使用grpc-health-checking库注册健康检查）。

3. 修复Envoy日志无输出问题 #

• 调高Envoy日志级别：启动命令添加--log-level debug，或在YAML中配置admin日志：

  admin:
    access_log_path: "/dev/stdout"
    address:
      socket_address: { address: 0.0.0.0, port_value: 9901 }
  

• 检查日志采集：执行kubectl logs <envoy-pod-name>确认日志是否真的无输出，排查是否存在日志截断或采集配置问题。

4. 验证网络连通性 #

• 在Envoy容器内测试与服务端的连通性：

  nc -zv <upstream-ip> <port>
  

  若连接失败，检查：
  • GKE NetworkPolicy是否允许Envoy与服务端所在命名空间的流量；
  • 集群防火墙规则是否开放服务端gRPC端口的内部通信。

5. 代码层面排查 #

• 服务端代码：确认监听地址为0.0.0.0或[::]，服务已正确注册到gRPC server；若使用TLS，确保证书配置与Envoy匹配。
• 客户端代码：确认连接地址为Envoy的入口端口（而非直接连接服务端），示例：

  channel = grpc.insecure_channel('envoy-service:8080')  # Envoy的Service地址与监听端口
  

内容的提问来源于stack exchange，提问作者ak1234