GCP GKE中gRPC Pod返回502错误的原因排查请求

核心错误分析 #

出现502 Bad Gateway且返回text/html响应，本质是GCP负载均衡器（LB）与后端Pod的gRPC端口之间协议协商失败——LB未按预期使用HTTP2与后端通信，导致后端返回错误格式的响应。具体配置问题如下：

1. NEG注解与服务端口的关联逻辑不匹配 #

你在cloud.google.com/neg注解中用端口号9520暴露端口，但cloud.google.com/app-protocols和cloud.google.com/backend-config都是通过**端口名称grpc**关联配置的。GKE中NEG需要与服务的端口名称（而非端口号）绑定，才能正确继承app-protocols定义的HTTP2协议规则。

2. 服务端口定义可能存在遗漏 #

需确保Service资源中明确将名为grpc的端口映射到容器的gRPC监听端口，否则所有基于端口名称的注解配置都会失效。

修复步骤 #

步骤1：修正Service的端口定义 #

确保Service的ports字段包含名为grpc的端口，示例配置如下：

apiVersion: v1
kind: Service
metadata:
  name: your-service-name
  annotations:
    cloud.google.com/app-protocols: '{"grpc":"HTTP2"}'
    cloud.google.com/neg: '{"ingress": true, "exposed_ports": {"grpc":{}}}'  # 改为使用端口名称而非端口号
    cloud.google.com/backend-config: '{"ports": {"grpc":"api-grpc-backend"}}'
spec:
  selector:
    app: your-app-label
  ports:
  - name: grpc  # 必须与注解中的端口名称完全一致
    port: 9520
    targetPort: <容器gRPC监听端口>  # 替换为Pod中gRPC服务实际监听的端口（如9520）
  - name: http
    port: 8000
    targetPort: 8000
  type: ClusterIP

步骤2：调整NEG注解的exposed_ports字段 #

将exposed_ports的值从端口号9520改为端口名称grpc，确保与其他注解的关联逻辑统一：

cloud.google.com/neg: '{"ingress": true, "exposed_ports": {"grpc":{}}}'

步骤3：验证BackendConfig配置 #

你的BackendConfig本身配置无误——通过HTTP端口8000做健康检查不会影响gRPC流量的协议，但需确保BackendConfig与Service在同一命名空间下，且名称匹配。

验证修复效果 #

1. 应用修改后的Service配置：

kubectl apply -f your-service.yaml

2. 等待GCP负载均衡器更新配置（通常需5-10分钟）
3. 使用grpcurl重新测试端点：

grpcurl -d '{}' your-ingress-domain:443 your.grpc.service.v1.Service/Method

若仍报错，可在GCP控制台检查：

• 负载均衡器后端服务是否使用HTTP2协议
• NEG关联端口是否显示为grpc且协议为HTTP2
• 后端Pod的gRPC端口是否正常监听HTTP2流量

内容的提问来源于stack exchange，提问作者Matt Martinez