AWS EKS集群Pod终止异常：资源充足却触发Pod上限限制

关键原因解析 #

1. 可用节点数量骤减
   报错明确显示有2台节点带有node.kubernetes.io/unreachable污点，说明这两台节点已与集群失联，Kubernetes无法将Pod调度到这些节点上。原本的4台节点实际仅剩下部分可用（报错中显示当前集群识别到3台节点，其中仅1台未失联但已达Pod上限），直接导致可用Pod配额大幅缩水。

2. 崩溃Pod残留占用配额
   服务崩溃且无法重启时，失败的Pod可能处于CrashLoopBackOff、Terminating或Unknown状态，这类异常Pod依然会占用节点的Pod配额（kubelet会保留资源记录直到彻底清理）。你部署的13个Service对应13个ReplicaSet，但加上这些未被清理的异常Pod，实际占用的Pod数量可能已经超过了单台可用节点的配额上限。

3. AWS控制台与K8s集群的统计差异
   AWS控制台展示的是节点理论总Pod容量，但未考虑以下实际情况：

   • 失联节点的资源无法被K8s调度使用
   • 集群系统组件（如kube-proxy、aws-node）本身会占用部分Pod配额
   • 异常状态Pod占用的未释放配额

排查修复步骤 #

• 检查节点状态：执行 kubectl get nodes 确认集群内可用节点数量，对失联节点尝试重启或重新注册到集群。
• 清理异常Pod：执行 kubectl get pods --all-namespaces 筛选出状态异常的Pod，通过 kubectl delete pod <pod-name> --force --grace-period=0 强制清理释放配额。
• 核对节点Pod使用情况：执行 kubectl describe node <node-name>，查看Allocatable.pods（节点总Pod配额）和Used.pods（已占用Pod数），确认实际占用是否达上限。
• 排查节点失联根因：登录失联节点查看kubelet日志，确认是网络故障、节点资源耗尽还是AWS底层问题导致的失联。

内容的提问来源于stack exchange，提问作者BendEg