在Kubernetes中通过Nginx暴露gRPC服务时遭遇500内部服务器错误

结合你提供的配置和错误信息（响应来自Kestrel），以下是具体排查方向：

1. 检查gRPC路径匹配配置 #

gRPC服务的请求路径格式为/[包名].[服务名]/[方法名]，你的Ingress配置中path: /hangfire为前缀匹配，可能和实际gRPC路径不匹配，导致Kestrel无法找到对应的服务方法，返回500。

• 建议修改Ingress的path为/（前缀匹配所有路径），或者明确指定gRPC服务的完整路径前缀，测试是否解决问题：

  paths:
  - path: /
    pathType: Prefix
    backend:
      service:
        name: schedularapi
        port:
          number: 80
  

2. 补充Nginx Ingress的gRPC相关注解 #

虽然你已经添加了backend-protocol: "GRPC"，但还需要确保Nginx Ingress正确处理HTTP2请求，建议添加以下注解：

annotations:
  nginx.ingress.kubernetes.io/ssl-redirect: "false"
  nginx.ingress.kubernetes.io/backend-protocol: "GRPC"
  nginx.ingress.kubernetes.io/http2-push-preload: "on"
  nginx.ingress.kubernetes.io/use-gzip: "false" # gzip可能干扰gRPC二进制数据

3. 验证Kestrel的端口监听配置 #

你的Kestrel设置了默认使用Http2，但需要确认容器内的50051端口确实在监听Http2：

• 进入应用Pod，执行命令netstat -tulpn | grep 50051，确认端口状态为LISTEN，且协议为tcp。
• 检查应用启动日志，确认Kestrel是否成功绑定50051端口并启用Http2。

4. 修复Ingress的Host配置 #

你的Ingress规则中host字段为空，可能导致路由匹配异常，尤其是集群中存在多个Ingress时：

• 为Ingress指定一个明确的host（比如grpc.example.com），并确保请求时使用该host访问。

5. 查看详细日志定位问题 #

• Nginx Ingress Controller日志：查看Ingress控制器的Pod日志，检查是否有请求转发错误，比如路径匹配失败、连接后端超时等：

  kubectl logs -n <ingress-namespace> <nginx-ingress-controller-pod-name>
  

• 应用Pod日志：查看schedularapi的Pod日志，利用返回的traceId（00-8dae13808379a7f0a01d3935519a6e11-9e7b8b21dca96409-00）搜索具体错误栈，这是定位Kestrel内部错误的关键：

  kubectl logs <schedularapi-pod-name> | grep "8dae13808379a7f0a01d3935519a6e11"
  

6. 测试Service直接访问 #

绕过Ingress，直接通过Service的ClusterIP访问gRPC服务，验证服务本身是否正常：

• 启动一个测试Pod，安装grpcurl工具：

  kubectl run grpc-test --image=quay.io/mhausenblas/grpcurl:v1.8.0 --rm -it -- bash
  

• 执行gRPC请求测试：

  grpcurl -plaintext <schedularapi-service-cluster-ip>:80 list
  

如果直接访问也返回错误，说明问题出在应用本身或Service配置，而非Ingress。

内容的提问来源于stack exchange，提问作者Sanjib Adhikary