GKE配置externalTrafficPolicy:Local不生效 无法获取真实客户端IP

当前环境为GKE 1.21.12-gke.1700版本，为非Ingress类型的Nginx外部LoadBalancer服务配置externalTrafficPolicy: Local尝试保留请求源IP，配置未达预期：服务获取到的请求源IP始终为Kubernetes集群IP段的内部IP，而非真实客户端IP，无法实现基于端点的访问管控目标（默认拒绝所有请求、仅放通指定客户端IP访问），Nginx因识别到的源IP为集群内网IP，触发访问拦截规则。
对应Service配置如下：

apiVersion: v1
kind: Service
metadata:
  name: nginx-ext
  namespace: my-namespace
spec:
  externalTrafficPolicy: Local
  healthCheckNodePort: xxxxx
  ipFamilies:
  - IPv4
  ipFamilyPolicy: SingleStack
  loadBalancerSourceRanges:
  - x.x.x.x/32
  ports:
  - name: dashboard
    port: 443
    protocol: TCP
    targetPort: 443
  selector:
    app: nginx
  sessionAffinity: None
  type: LoadBalancer

Nginx错误日志信息如下：

*2 access forbidden by rule, client: 10.X.X.X

1. 核心触发逻辑：GKE 1.21版本默认的TCP LoadBalancer服务以集群节点作为负载均衡后端，externalTrafficPolicy: Local配置生效时，负载均衡器会向所有节点均匀分发流量。如果流量被分发到未运行Nginx Pod的节点，该节点不存在对应服务的本地端点，会触发二次转发将流量转到运行了Nginx Pod的其他节点，转发过程中kube-proxy会自动做SNAT，将源IP替换为当前转发节点的内网IP（即日志中显示的10.X.X.X段地址），最终Nginx拿到的源IP就是节点内网IP，而非真实客户端IP。
2. 前提校验缺失：如果使用的是基于路由的旧模式GKE集群（非VPC原生别名IP集群），即使配置了externalTrafficPolicy: Local，GCP负载均衡器默认也会对入向流量做SNAT，原生不支持源IP保留能力。

• 先确认集群为VPC原生（别名IP）模式，该模式是GKE 1.21版本下LoadBalancer服务保留源IP的必要基础，基于路由的旧集群无法支持该能力，需要先完成集群迁移。
• 修改Service配置，添加NEG注解启用容器原生负载均衡，直接将Nginx Pod作为负载均衡的后端，跳过节点转发环节，从根本上避免二次转发导致的SNAT问题。注解配置添加在metadata字段下：

metadata:
  name: nginx-ext
  namespace: my-namespace
  annotations:
    cloud.google.com/neg: '{"ingress": false, "exposed_ports": {"443": {}}}'

• 保留externalTrafficPolicy: Local配置，删除手动填写的healthCheckNodePort字段，该字段会由GKE控制器在创建NEG和对应健康检查规则时自动填充，手动指定可能导致健康检查异常、服务不通。
• 等待2-3分钟配置同步生效后，查看Nginx日志即可获取到真实客户端IP，基于源IP的访问控制规则、loadBalancerSourceRanges配置均会正常生效。

• 备选方案（不推荐）：如果暂时无法启用NEG，可将Nginx以DaemonSet方式部署到所有集群节点，保证每个节点都存在对应服务的本地端点，负载均衡流量分发到任意节点都不会触发二次转发，也能实现源IP保留，但该方案会造成额外的资源浪费。

内容的提问来源于stack exchange，提问作者Idan