You need to enable JavaScript to run this app. K8s集群新Pod持续卡在Pending状态故障排查求助
优惠活动
大模型
产品
解决方案
定价
更多

K8s集群新Pod持续卡在Pending状态故障排查求助

故障排查方向

  • 首先排查故障节点aks-nodepool1-31127038-vmss000000的kubelet运行状态:
    调度到该节点的Pod全部卡在Pending无后续事件,优先怀疑节点kubelet服务异常。可通过kubectl debug node/aks-nodepool1-31127038-vmss000000 -it --image=busybox进入节点调试环境,或SSH登录节点后执行systemctl status kubelet查看服务状态,执行journalctl -u kubelet -f查看kubelet运行日志,排查是否存在PLEG异常、证书过期、容器运行时通信失败等报错。
  • 排查节点容器运行时状态:
    AKS默认使用containerd作为容器运行时,若运行时服务卡住或崩溃,也会导致kubelet无法正常创建Pod。登录节点后执行systemctl status containerd查看运行时状态,执行crictl ps验证容器列表查询是否正常,同时查看运行时日志排查是否存在存储驱动异常、OOM killed、文件句柄不足等问题。
  • 排查节点软资源耗尽问题:
    常规CPU、内存利用率正常不代表无资源瓶颈,需确认是否存在PID耗尽、文件句柄耗尽、inotify实例耗尽等软限制触发的问题。登录节点执行ps aux | wc -l核对进程数是否接近PID上限,执行lsof | wc -l核对打开文件句柄数,同时查看dmesg和系统日志/var/log/syslog是否存在相关资源耗尽的报错。
  • 排查节点Pod数量上限:
    Kubernetes默认单节点最大支持110个Pod,你可以执行kubectl describe node aks-nodepool1-31127038-vmss000000,查看Capacity字段下的pods数值,再核对Allocated resources块下的Pod分配占比,若已达到上限即使CPU内存空闲也无法创建新Pod。
  • 排查CNI插件异常:
    若节点上的CNI插件故障,无法为新建Pod分配IP,也会导致Pod卡在Pending状态。可查看kubelet日志是否存在CNI相关报错,同时核对kube-system命名空间下的CNI组件(如azure-cni、calico)在故障节点上的运行状态是否正常,确认CNI IP地址池是否耗尽。

对应解决方案

  • 若为kubelet/containerd服务异常:先执行systemctl restart kubelet或systemctl restart containerd重启对应服务,验证Pod创建是否恢复正常;若问题反复出现,需排查是否为版本bug、配置错误导致的稳定性问题。
  • 若为软资源耗尽:临时调整对应ulimit参数,清理节点上的僵尸进程、无用文件句柄占用,后续优化节点内核参数,调整对应资源的上限阈值。
  • 若为单节点Pod数量达上限:可调整节点池的单节点Pod配额,或者扩容节点池,分散Pod调度压力。
  • 若为CNI故障:先重启故障节点上的CNI插件实例,若IP地址池耗尽则扩大CNI子网范围,必要时重新安装CNI插件。
  • 若以上操作均无法快速恢复:先执行kubectl cordon aks-nodepool1-31127038-vmss000000标记节点不可调度,再执行kubectl drain aks-nodepool1-31127038-vmss000000 --ignore-daemonsets迁移节点上的现有业务Pod到其他正常节点,之后删除该故障VMSS实例,AKS节点池会自动重建新的正常节点替代。

内容的提问来源于stack exchange,提问作者Florian Boehmak

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.15 06:06:00