Kubernetes自定义负载均衡：如何实现请求始终路由到空闲Pod

可以实现优先选择空闲Pod承接请求的负载均衡机制，核心是让流量转发层感知Pod的业务层忙闲状态，而非仅依赖Kubernetes默认的网络连通性判断。具体实现方案如下：

• 直接复用Pod暴露的忙闲HTTP接口作为就绪探针（readinessProbe）的检测地址，配置为Pod空闲时接口返回2xx状态码，忙碌时返回非2xx状态码
• Kubernetes会自动将流量仅转发到标记为「就绪」的Pod，忙碌的Pod会被自动从Service的后端端点列表中摘除，直到任务执行完成、接口返回2xx后才会重新恢复流量转发
• 配置示例：

readinessProbe:
  httpGet:
    path: /api/health/status # 替换为实际的忙闲状态接口路径
    port: 8080 # 替换为应用实际暴露的端口
  initialDelaySeconds: 5
  periodSeconds: 2 # 可根据任务时长调整检测间隔，保证状态同步及时
  failureThreshold: 1 # 单次检测到忙碌即标记为未就绪，停止接收新请求

• 适用场景：无额外中间件依赖，适合绝大多数中小规模集群场景。如果单个Pod可同时处理多个仿真任务，仅需在忙闲接口逻辑中增加并发数判断，达到并发阈值后再返回非2xx状态码即可

如果集群已部署Istio、Linkerd等服务网格组件，可直接配置自定义负载均衡规则：

• 由Sidecar代理定期拉取Pod的忙闲状态
• 配置路由规则时优先将请求转发到空闲Pod，无需修改Pod的就绪探针逻辑，不会影响原有Kubernetes的 workload 状态判断
• 适用场景：已经使用服务网格做流量治理的集群，可实现更精细的流量调度逻辑，比如基于剩余可承载任务数做加权路由

如果使用自研API网关或者Ingress Nginx等七层负载组件，可通过自定义插件实现状态感知：

• 在网关层增加后端Pod状态拉取逻辑，定期同步所有Pod的忙闲状态
• 转发请求时直接匹配空闲Pod，还可配合请求队列做削峰填谷，避免瞬时大量请求打满所有Pod
• 适用场景：有自定义网关需求、需要统一管控所有入口流量的场景

• 若仿真任务执行时间较短，建议调低状态检测间隔，避免状态更新不及时导致请求被误分配到忙碌Pod
• 若存在瞬时高并发请求的场景，可在流量入口增加请求缓冲队列，避免所有Pod刚释放就被同时打满
• 单Pod支持多并发任务的场景，可让忙闲接口返回当前剩余可用配额，配合负载均衡层实现更合理的资源分配，不需要完全限制非空闲Pod接收流量

内容的提问来源于stack exchange，提问作者Lukas Morkūnas