AWS EKS集群中动态配置比例添加自定义HTTP头方案咨询

方案一：基于Istio服务网格实现 #

Istio的Envoy sidecar代理支持动态流量分割与Header注入，配置修改后无需重启任何Pod即可生效。

• 部署准备：先在EKS集群中安装Istio，并确保Spring应用的Pod已自动注入Envoy sidecar。
• 配置实现：
  1. 通过DestinationRule定义两个流量子集，分别对应Header值A和B：

     apiVersion: networking.istio.io/v1alpha3
     kind: DestinationRule
     metadata:
       name: spring-app-dr
     spec:
       host: spring-app-service # 替换为你的Spring应用Service名称
       subsets:
       - name: header-a
         labels:
           app: spring-app # 替换为你的Spring应用Pod标签
       - name: header-b
         labels:
           app: spring-app
     

  2. 通过VirtualService配置流量权重分配，并在转发时添加自定义Header：

     apiVersion: networking.istio.io/v1alpha3
     kind: VirtualService
     metadata:
       name: spring-app-vs
     spec:
       hosts:
       - "*"
       gateways:
       - istio-ingressgateway # 替换为你的Istio网关名称
       http:
       - route:
         - destination:
             host: spring-app-service
             subset: header-a
           weight: 30
         - destination:
             host: spring-app-service
             subset: header-b
           weight: 70
         headers:
           request:
             set:
               x-my-custom-header: "%REQ(X-MY-CUSTOM-HEADER, A if route.header-a else B)%"
     

• 动态调整：直接编辑VirtualService中的weight值（比如把30/70改成50/50），Istio会自动将新配置推送到所有Envoy sidecar，几秒内即可生效，完全不需要重启Pod。

方案二：基于NGINX Ingress Controller + Lua脚本实现 #

利用NGINX的Lua扩展实现加权随机Header注入，结合ConfigMap热更新特性，无需重启Pod即可修改权重。

• 部署准备：在EKS中部署官方NGINX Ingress Controller。
• 配置实现：
  1. 创建存储Lua脚本和权重配置的ConfigMap：

     apiVersion: v1
     kind: ConfigMap
     metadata:
       name: nginx-header-config
     data:
       header-weight.lua: |
         math.randomseed(os.time())
         local weight_a = tonumber(os.getenv("WEIGHT_A") or "30")
         local weight_b = tonumber(os.getenv("WEIGHT_B") or "70")
         local rand = math.random(1, 100)
         if rand <= weight_a then
           ngx.req.set_header("x-my-custom-header", "A")
         else
           ngx.req.set_header("x-my-custom-header", "B")
         end
       weight-config: |
         WEIGHT_A=30
         WEIGHT_B=70
     

  2. 在Ingress资源中添加注解，启用Lua脚本并引用ConfigMap：

     apiVersion: networking.k8s.io/v1
     kind: Ingress
     metadata:
       name: spring-app-ingress
       annotations:
         nginx.ingress.kubernetes.io/configuration-snippet: |
           set $weight_a 30;
           set $weight_b 70;
           access_by_lua_file /etc/nginx/header-weight.lua;
         nginx.ingress.kubernetes.io/configmap: "default/nginx-header-config" # 替换为ConfigMap的命名空间和名称
     spec:
       ingressClassName: nginx
       rules:
       - host: your-domain.com # 替换为你的域名
         http:
           paths:
           - path: /
             pathType: Prefix
             backend:
               service:
                 name: spring-app-service # 替换为你的Spring应用Service名称
                 port:
                   number: 80
     

• 动态调整：直接编辑ConfigMap中的WEIGHT_A和WEIGHT_B值，NGINX Ingress Controller会自动触发配置重载（而非重启Pod），新权重在几秒内生效。

方案三：基于AWS ALB + Lambda@Edge实现 #

适合以AWS ALB作为流量入口的场景，利用Lambda@Edge动态添加Header，权重修改无需任何Pod操作。

• 部署准备：在EKS中安装AWS Load Balancer Controller，确保Ingress资源会创建AWS ALB。
• 配置实现：
  1. 创建Lambda函数，实现加权随机生成Header值（权重可通过环境变量或SSM Parameter Store存储）：

     import os
     import random
     
     def lambda_handler(event, context):
         request = event['Records'][0]['cf']['request']
         weight_a = int(os.environ.get('WEIGHT_A', '30'))
         weight_b = int(os.environ.get('WEIGHT_B', '70'))
         
         rand = random.randint(1, 100)
         header_value = 'A' if rand <= weight_a else 'B'
         request['headers']['x-my-custom-header'] = [{'key': 'x-my-custom-header', 'value': header_value}]
         
         return request
     

  2. 将Lambda函数关联到ALB的Viewer Request事件（需要将Lambda部署到us-east-1区域，或与ALB同区域）。
  3. 配置EKS Ingress使用AWS ALB，确保流量会经过该Lambda处理。
• 动态调整：修改Lambda的环境变量（或SSM Parameter Store中的权重值），后续请求会立即使用新权重分配Header，无需重启任何Pod或服务。

方案对比 #

• Istio：功能最全面，支持复杂流量管控，但学习成本较高，适合已有服务网格架构的场景。
• NGINX Ingress：轻量易上手，适合已有NGINX Ingress的集群，配置修改简单。
• AWS ALB + Lambda：AWS原生集成，无需额外部署代理组件，适合依赖AWS生态的场景。

内容的提问来源于stack exchange，提问作者Rafael A P Nascimento