Kubernetes：如何在达到内存限制指定比例阈值时重启Pod

你当前遇到的应用接近resources.limits.memory配置值就故障的问题，是K8s运行态非常常见的场景——K8s本身没有提供“内存使用率达到限制的指定比例就自动重启”的原生开关，但可以通过以下几个生产中经过验证的方案，实现你说的“128Mi内存limit下，使用率到85%就重启”的需求。所有方案的阈值计算都是自动读取Pod实际配置的内存limit值，不需要硬编码写死128Mi的固定数值。

方案1：应用内嵌内存自检逻辑（优先推荐） #

这是准确率最高、重启时机最可控的方案，不需要依赖外部组件：

• 实现逻辑：在应用运行逻辑中实时统计自身进程的实际内存占用，和当前Pod从cgroup读到的内存limit值做实时对比，当使用率达到预设的85%阈值时，主动触发进程优雅退出
• 优势：后续调整Deployment的资源配置时，阈值逻辑不需要跟着改；而且进程退出时可以做优雅收尾，比如清空临时缓存、关闭现有连接，避免重启影响服务可用性
• 配合默认的Pod重启策略Always，进程退出后kubelet会自动拉起新的实例，不需要额外配置

方案2：通过exec类型的Liveness探针实现无侵入检测 #

如果不方便修改应用代码，可以通过给容器配置exec探针，让kubelet在检测到内存超阈值时自动重启容器，完全不需要改动应用逻辑：

• 实现逻辑：给Liveness探针配置固定间隔执行的shell命令，直接读取当前容器的cgroup内存统计值，对比已用内存和内存limit的比值，超过85%就返回非0退出码，触发探针失败重启
• 可直接套用的探针检测命令（适配cgroupv1环境，基础镜像可直接运行无额外依赖）：

  # 读取当前容器已用内存字节数
  current=$(cat /sys/fs/cgroup/memory/memory.usage_in_bytes)
  # 读取当前容器配置的内存limit字节数
  limit=$(cat /sys/fs/cgroup/memory/memory.limit_in_bytes)
  # 计算使用率，超过85%就返回失败状态
  awk "BEGIN{exit ($current > $limit * 0.85) ? 1 : 0}"
  

• 配置注意事项：
  • 把探针的检测间隔设为10~30秒即可，不要设得太频繁占用节点CPU资源
  • 把探针的连续失败判定次数设为1~2，避免因为瞬时的内存尖峰触发无意义的重启

方案3：统一巡检组件联动Pod重启 #

如果集群内有大量同配置的工作负载，不想逐个修改应用或加探针，可以在集群内部署轻量的巡检任务实现统一管控：

• 实现逻辑：巡检任务周期性从K8s API获取所有Pod的实时内存监控指标，对配置了内存limit的工作负载做批量判断，一旦发现某个Pod的内存使用率达到85%阈值，就调用API触发Pod重启
• 适用场景：统一管控多套业务的资源阈值，不需要在每个工作负载里重复配置检测逻辑

注意：不要依赖kubelet内置的OOM Killer作为重启触发依据，OOM触发的时机是Pod内存实际超过硬limit之后，已经晚于你需要的85%的阈值点，会直接触发你现在遇到的“接近limit就故障”的问题。

内容的提问来源于stack exchange，提问作者niva rojas