Kubernetes中如何将callback回调路由回发起初始请求的指定Pod

方案选型结论 #

两种备选方案都不是最优解，携带Pod标识+Nginx Ingress哈希路由的方案改造成本最低、架构最简洁，完全适配你当前的场景。

• StatefulSet仅能给Pod分配固定DNS名称，默认Service仍为随机转发，无法直接根据回调标识路由到指定Pod，还需要额外开发服务发现逻辑，性价比极低
• 独立通知Pod方案会引入新的单点依赖，还要自行实现通知转发、状态同步、高可用保障逻辑，反而大幅提升架构复杂度

具体实现步骤 #

1. 给业务容器注入Pod唯一标识 #

通过K8s原生Downward API将Pod名称注入容器环境变量，业务代码可以直接读取该值拼接到回调地址中：

# app-server的Deployment配置节选
spec:
  containers:
  - name: app-server
    image: 你的业务镜像地址
    env:
    # 注入当前Pod的名称作为唯一标识
    - name: CURRENT_POD_NAME
      valueFrom:
        fieldRef:
          fieldPath: metadata.name

业务代码拼接第三方回调地址时，把Pod名称作为Query参数带上，示例：https://api.example.com/callback?pod=${CURRENT_POD_NAME}&业务参数=xxx

2. 拆分Ingress规则适配不同协议 #

你当前的Ingress全局配置了backend-protocol: GRPC，会导致/callback路径的HTTP请求被错误识别为GRPC协议报错，所以需要拆分为两个独立的Ingress分别处理两类接口：

处理GRPC请求的Ingress

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: app-ingress-grpc
  labels:
    app: app
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/backend-protocol: "GRPC"
    cert-manager.io/cluster-issuer: letsencrypt
spec:
  tls:
    - hosts:
        - api.example.com
      secretName: tls-secret
  rules:
    - host: api.example.com
      http:
        paths:
          - path: /grpc
            pathType: ImplementationSpecific
            backend:
              service:
                name: app-server
                port:
                  number: 50051

处理回调请求的Ingress

通过upstream-hash-by注解指定按照回调请求中的pod参数做哈希路由，保证携带同一个Pod标识的回调请求永远转发到对应的Pod：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: app-ingress-callback
  labels:
    app: app
  annotations:
    kubernetes.io/ingress.class: nginx
    cert-manager.io/cluster-issuer: letsencrypt
    # 按照query参数中的pod值做上游哈希，固定路由到对应Pod
    nginx.ingress.kubernetes.io/upstream-hash-by: "$arg_pod"
    # 可选：配置第三方服务出口IP白名单，禁止其他来源访问回调接口
    nginx.ingress.kubernetes.io/whitelist-source-range: "第三方出口IP段/32"
spec:
  tls:
    - hosts:
        - api.example.com
      secretName: tls-secret
  rules:
    - host: api.example.com
      http:
        paths:
          - path: /callback
            pathType: ImplementationSpecific
            backend:
              service:
                name: app-server
                port:
                  number: 80

边界异常处理 #

• 如果等待回调的过程中对应Pod销毁/重启，回调请求会转发失败，可以给第三方服务配置回调失败重试策略，或者业务层处理超时重试逻辑即可，属于极低概率事件
• 如果担心哈希冲突，可以将哈希规则调整为nginx.ingress.kubernetes.io/upstream-hash-by: "$arg_pod$remote_addr"，叠加第三方来源IP进一步降低冲突概率

内容的提问来源于stack exchange，提问作者widavies