基于Pod可用连接数的Kubernetes自定义负载均衡器配置咨询

当然可以实现这种基于Pod内部连接池状态的路由策略，Kubernetes默认的轮询策略做不到，但通过以下几种方式可以自定义实现：

• 第一步：让Pod暴露可用连接数指标
  在你的Spring Boot应用里，用Micrometer（Spring Boot默认集成）添加自定义指标，比如app_available_connections，实时输出当前连接池的可用连接数。不用复杂配置，只需监听连接池状态，把可用连接数推送到应用的指标端点即可。

• 选择合适的负载均衡扩展方案

  1. 基于NGINX Ingress Controller定制
     NGINX支持通过Lua脚本扩展路由逻辑。你可以让Prometheus采集每个Pod的可用连接数指标，再编写Lua脚本定期从Prometheus拉取这些数据，动态调整每个Pod的路由权重——可用连接数越多，权重越高，NGINX就会把更多请求分配过去。需要修改Ingress配置，开启自定义负载均衡策略。
  2. 用Service Mesh（比如Istio）实现
     Istio自带基于自定义指标的负载均衡能力。只需配置VirtualService和DestinationRule，将Prometheus采集到的可用连接数指标作为路由权重依据，Istio就会自动把流量优先导向可用连接数多的Pod。这种方式无需大量自定义代码，适合已使用Service Mesh的场景。
  3. 开发自定义Controller
     如果上述方案不适用，可以自行编写Kubernetes Controller。该Controller定期拉取每个Pod指标端点的可用连接数数据，动态调整Service的Endpoint权重（前提是你的负载均衡器支持权重配置，如云厂商LB或自定义Service实现），或者直接实现一个轻量Ingress Controller处理路由。

• 关键注意点

  • 指标采集延迟要尽可能小，避免路由决策基于过时数据，导致请求被转发到已无可用连接的Pod。
  • 做好容错处理：若某个Pod的指标无法拉取，直接将其权重设为0，避免流量浪费在故障Pod上。
  • 确保连接池指标准确性，比如不要混淆“已使用连接数”和“可用连接数”，否则路由逻辑会完全反向。

内容的提问来源于stack exchange，提问作者Rami Del Toro