如何自动删除长时间未接收TCP/UDP连接的Kubernetes Pod？

核心思路 #

要完成「闲置3小时删除Pod+新请求自动拉起」的需求，需结合流量监控、自动清理逻辑和按需调度机制三个核心环节落地。

一、流量监控：追踪Pod访问状态 #

准确判断Pod是否有流量进入，常用两种方式：

• Service层面指标采集：借助Prometheus采集kube_service_endpoints、tcp_connection_states等原生指标，统计指定时间窗口内Pod的TCP/UDP请求量；也可通过Service的endpoints变化间接判断是否有流量转发。
• Sidecar代理埋点：为Pod注入轻量Sidecar（如Envoy、Nginx），由Sidecar记录所有进入Pod的请求日志或指标，直接上报至监控系统，精准统计单Pod的访问情况。

二、自动清理闲置Pod #

基于监控到的闲置状态，触发Pod删除操作，推荐两种方案：

1. 自定义Operator控制器 #

编写轻量Kubernetes Operator，核心逻辑：

• 定期（如每10分钟）查询目标Pod的流量指标
• 对连续3小时无请求的Pod，调用K8s API执行删除操作
• 提前给目标Deployment/StatefulSet设置逻辑：删除闲置Pod前，暂停控制器的自动重建（避免删除后立刻重启），或给Pod打idle=true标签，让控制器忽略该标签的Pod

示例暂停Deployment重建的命令：

kubectl patch deployment <deploy-name> -p '{"spec":{"paused":true}}'

2. CronJob+清理脚本 #

用Kubernetes CronJob定时运行清理脚本，逻辑如下：

• 调用Prometheus API查询3小时内无请求的Pod列表
• 遍历列表删除Pod，并暂停对应控制器的自动重建

简化版脚本示例：

# 查询3小时内无TCP请求的Pod
IDLE_PODS=$(curl -s "http://prometheus:9090/api/v1/query?query=sum(rate(tcp_requests_total{pod=~\"my-app-.*\"}[3h])) == 0" | jq -r '.data.result[].metric.pod')

for POD in $IDLE_PODS; do
  kubectl delete pod $POD
  # 暂停对应Deployment
  kubectl patch deployment my-app-deployment -p '{"spec":{"paused":true}}'
done

三、新请求触发Pod拉起 #

当有新请求进入时，需自动恢复Pod，核心是让流量触发控制器重建：

1. 结合Service与HPA #

• 给Service配置externalTrafficPolicy: Local，确保请求转发到当前节点的Pod（无Pod时请求会积压）
• 配置HPA，基于自定义指标（如Service的请求队列长度）触发扩容：当检测到请求积压时，HPA自动将Deployment副本数从0调整为1
• 需提前配置Prometheus Adapter，将自定义指标暴露给K8s API

2. 网关层触发逻辑 #

若使用Ingress或API网关（如Kong、Traefik），可在网关层添加触发逻辑：

• 网关检测到目标Service无可用Endpoint时，调用K8s API将对应Deployment副本数恢复为1
• 等待Pod启动就绪后，再转发请求

3. 自定义Webhook拦截 #

编写Webhook监听Service的请求事件：

• 当请求到达时，检查对应Pod是否存在
• 若不存在，立即启动Deployment副本，待Pod就绪后转发请求

注意事项 #

• 状态数据持久化：若Pod为有状态应用，需挂载PersistentVolume，避免删除Pod丢失数据
• 阈值精细化调整：根据业务实际场景调整闲置时间阈值，避免误删低流量但仍在运行的Pod
• 灰度验证：先在测试环境验证全流程逻辑，确保不影响正常业务流量

内容的提问来源于stack exchange，提问作者Luis Manuel Cortés Tirado