为何GKE负载均衡会将4XX错误转为5XX？问题排查

我们在GKE Autopilot集群部署应用时遇到异常：

• 预期返回4XX错误的请求，客户端实际收到5XX错误；2XX响应则正常返回
• 应用日志明确输出应为4XX，但客户端收到的却是5XX
• 补充排查细节：
  • 通过GCP控制台的Cloud Shell端口转发到Pod，在/swagger/index.html测试API时，预期4XX却返回503，2XX正常
  • 本地控制台用相同端口转发命令后，执行curl -I GET localhost:8080/swagger/index.html能得到正确响应，疑似问题出在Cloud Shell本身

附带相关配置与报错页面：

Cloud Shell报错页面代码 #

<html lang="en">
<head>
    <title>Unable to forward your request to a backend - Web Forwarder - Cloud Shell</title>
</head>
<body style="font-family: monospace;">
    <h1 style="font-size: 1.5em;">Unable to forward your request to a backend</h1>
    <p>Couldn't connect to a server on port 8080</p>
</body>

Service配置 #

apiVersion: v1
kind: Service
metadata:
  name: app-gateway
  namespace: namespace
  annotations:
    networking.gke.io/load-balancer-type: "Internal"
    cloud.google.com/neg: '{"ingress": true}'
spec:
  type: LoadBalancer
  externalTrafficPolicy: Cluster
  selector:
    app: app-gateway
  ports:
    - port: 80
      targetPort: 80
      name: http

Ingress配置 #

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: app-gateway
  namespace: namespace
  annotations:
    kubernetes.io/ingress.class: "gce-internal"
spec:
  rules:
    - host: app.internal
      http:
        paths:
          - pathType: Prefix
            path: "/"
            backend:
              service:
                name: app-gateway
                port:
                  number: 80

系统架构：内部负载均衡后接若干工作负载，连接本地Mongo和RabbitMQ。

响应被修改的原因 #

问题根源在于Cloud Shell的Web Forwarder代理，而非GKE集群的Ingress或Service配置：

• Cloud Shell的Web界面（包括Swagger页面测试）依赖其内置的Web Forwarder转发请求到端口转发目标
• 当应用返回4XX状态码时，Web Forwarder会误判请求失败，主动将响应替换为自身的5XX错误页面；而2XX响应被识别为成功，会正常透传
• 本地控制台直接通过端口转发访问，未经过Cloud Shell的Web Forwarder代理，因此能收到应用返回的原始4XX响应

5XX响应的来源 #

这个5XX（具体为503）响应来自Cloud Shell的Web Forwarder组件，并非GKE集群的负载均衡、Ingress或应用本身。从你提供的报错页面标题Unable to forward your request to a backend - Web Forwarder - Cloud Shell也可直接验证这一点，页面明确标注了是Cloud Shell的Web Forwarder无法完成请求转发。

验证与解决建议 #

• 若需测试API真实响应，避免使用Cloud Shell的Web界面（包括Swagger页面），改用Cloud Shell终端执行curl命令直接访问端口转发地址，或使用本地控制台访问
• 集群层面的Ingress/Service配置无问题，本地端口转发能获取正确响应，说明GKE内部流量转发和应用响应逻辑均正常

内容的提问来源于stack exchange，提问作者Eddoasso