Kubernetes HPA缩容防随机杀Pod及PreStop钩子配置咨询

看起来你正好踩中了K8s HPA缩容时的优雅关闭痛点——PreStop钩子确实是解决这个问题的核心方案，不过得先纠正一个小误区：PreStop是在K8s已经决定要终止Pod之后触发的，不是让钩子去告诉K8s“可以终止了”，而是给Pod一个机会在被终止前完成收尾工作（比如保存数据、结束当前任务）。下面我给你一步步讲怎么配置，完全贴合你的场景（不用Prometheus，只靠原生资源指标）：

1. 先搞懂PreStop的工作逻辑 #

当HPA触发缩容时，K8s会选中要终止的Pod，然后按以下流程执行：

• 先触发PreStop钩子，运行你定义的命令/脚本
• 等待钩子执行完成（或者到达terminationGracePeriodSeconds超时时间）
• 发送SIGTERM信号给Pod内的主进程
• 等待主进程优雅退出，超时后发送SIGKILL强制终止

你的核心需求应该是：在Pod被终止前，让PreStop里的脚本完成当前正在运行的任务、落地数据，而不是“监控资源达到阈值后告知K8s终止”——因为终止决策已经由HPA基于CPU/内存指标做出了，钩子是用来处理终止前的收尾动作。

2. 修改你的Deployment配置，添加PreStop钩子 #

你需要修改task-deployment1的Deployment清单，在spec.template.spec.containers下添加lifecycle配置。这里给你两个实用的配置方案，对应不同的场景：

方案一：等待当前任务进程完成（适合有明确任务进程的场景） #

如果你的应用有一个明确的主任务进程（比如叫task-worker），可以写一个简单的循环脚本，等待这个进程结束再退出：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: task-deployment1
  namespace: namespace-CapAm
spec:
  # 保留你原有的Deployment配置（replicas、selector、template.metadata等）
  template:
    spec:
      containers:
      - name: your-container-name # 替换成你的容器实际名称
        image: your-app-image:tag # 替换成你的应用镜像
        # 保留你原有的容器配置（ports、env、resources等）
        lifecycle:
          preStop:
            exec:
              command: ["/bin/bash", "-c", "while pgrep task-worker > /dev/null; do sleep 5; done"]
        terminationGracePeriodSeconds: 300 # 设置足够长的宽限期，比如5分钟，确保任务能完成

方案二：等待CPU/内存降到阈值（适合无明确任务进程的场景） #

如果你需要等待Pod的CPU/内存使用率降到某个安全值再允许终止，可以直接读取K8s容器内的cgroup资源数据（原生支持，无需额外工具）来判断：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: task-deployment1
  namespace: namespace-CapAm
spec:
  template:
    spec:
      containers:
      - name: your-container-name
        image: your-app-image:tag
        lifecycle:
          preStop:
            exec:
              command: ["/bin/bash", "-c", |
                # 等待CPU使用率低于20%且内存使用率低于30%再退出
                while true; do
                  # 读取CPU使用率（适配cgroup v2，若集群用v1需调整路径为/sys/fs/cgroup/cpuacct/cpuacct.stat）
                  CPU_USAGE=$(cat /sys/fs/cgroup/cpu/cpu.stat | grep usage_usec | awk '{print $2}')
                  CPU_THROTTLE=$(cat /sys/fs/cgroup/cpu/cpu.stat | grep throttled_usec | awk '{print $2}')
                  CPU_UTIL=$(echo "scale=2; $CPU_THROTTLE / $CPU_USAGE * 100" | bc)
                  
                  # 读取内存使用率
                  MEM_USAGE=$(cat /sys/fs/cgroup/memory/memory.usage_in_bytes)
                  MEM_LIMIT=$(cat /sys/fs/cgroup/memory/memory.limit_in_bytes)
                  MEM_UTIL=$(echo "scale=2; $MEM_USAGE / $MEM_LIMIT * 100" | bc)
                  
                  # 判断是否达到阈值
                  if (( $(echo "$CPU_UTIL < 20" | bc -l) )) && (( $(echo "$MEM_UTIL < 30" | bc -l) )); then
                    exit 0
                  fi
                  sleep 10
                done
              ]
        terminationGracePeriodSeconds: 300

注意：如果你的集群使用cgroup v1，CPU统计路径会是/sys/fs/cgroup/cpuacct/cpuacct.stat，需要根据实际情况调整。另外，确保你的镜像里安装了bash、bc、awk这些工具。

3. 调整HPA的缩容策略（可选但推荐） #

为了避免HPA一次性缩容太多Pod，导致大量收尾工作同时进行，你可以在HPA里添加缩容速率限制（v2beta2版本支持）：

apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
  name: hpa
  namespace: namespace-CapAm
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: task-deployment1
  minReplicas: 2
  maxReplicas: 5
  behavior: # 添加缩容策略，避免频繁/过度缩容
    scaleDown:
      stabilizationWindowSeconds: 300 # 等待5分钟再开始缩容，过滤短期指标波动
      policies:
      - type: Percent
        value: 20
        periodSeconds: 60 # 每分钟最多缩容当前副本数的20%
  # 保留你原有的metrics配置
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 75
  - type: Resource
    resource:
      name: memory
      target:
        type: Utilization
        averageUtilization: 85

4. 验证配置是否生效 #

部署修改后的Deployment和HPA后，可以手动触发缩容测试：

# 手动设置副本数为2，模拟HPA缩容场景
kubectl scale deployment task-deployment1 --replicas=2 -n namespace-CapAm
# 查看Pod事件，确认PreStop钩子被触发
kubectl describe pod <目标Pod名称> -n namespace-CapAm

在事件日志里你会看到类似PreStopHook executed successfully的记录，说明配置生效。

最后提醒：如果是有状态的任务，最好配合PersistentVolumeClaim来持久化数据，从根本上避免数据丢失的风险。

内容的提问来源于stack exchange，提问作者lucifer758