Kubernetes多命名空间Pod启动失败求助：节点不足且无抢占目标

故障原因 #

报错0/5 nodes are available: 5 too many pods直接说明集群中所有5个节点的Pod数量都已达到上限，且没有低优先级的Pod可以被抢占，导致新Pod无法完成调度。Kubernetes默认给每个节点设置了Pod数量配额（通常为110个），当节点上运行的Pod（包括处于终止过程中的残留Pod）达到这个数值时，新Pod就无法调度到该节点。

排查步骤 #

• 查看节点的Pod配额与使用情况：
  执行kubectl describe nodes，在每个节点的Allocatable区域找到pods字段（例如pods: 110），再查看Used区域的pods计数，确认是否已达上限。
• 统计Pod分布与总量：
  用kubectl get pods --all-namespaces --field-selector=status.phase=Running | wc -l获取当前运行中Pod的总数；
  用kubectl get pods --all-namespaces -o wide | awk '{print $7}' | sort | uniq -c查看每个节点上的Pod数量分布。
• 检查残留无效Pod：
  处于Terminating、Unknown状态的Pod仍会占用节点的Pod配额，执行kubectl get pods --all-namespaces | grep -E 'Terminating|Unknown'排查这类Pod。
• 确认优先级与抢占配置：
  执行kubectl get priorityclasses查看集群中的优先级类，再检查故障Pod的spec.priorityClassName字段，确认是否有更低优先级的Pod可以被抢占。

解决方法 #

• 清理残留无效Pod：
  对Terminating或Unknown状态的Pod执行强制删除：

  kubectl delete pod <pod-name> -n <namespace> --force --grace-period=0
  

• 释放闲置Pod资源：
  识别并删除业务中不再需要的运行中Pod，比如测试环境的临时Pod、已下线服务的Pod，直接释放节点配额。
• 调整节点Pod配额（谨慎操作）：
  如果节点的CPU、内存等硬件资源还有剩余，可修改kubelet配置调整最大Pod数量：
  1. 编辑kubelet配置文件（通常为/var/lib/kubelet/config.yaml），修改maxPods字段；
  2. 或修改kubelet启动参数，添加--max-pods=<新数值>；
  3. 重启kubelet服务：systemctl restart kubelet。
     注意：修改前需确认节点的网络资源（如CNI可分配的Pod IP数量）是否支持更多Pod，避免出现网络资源耗尽问题。
• 扩容集群节点：
  添加新的Worker节点到集群，让调度器可以将新Pod调度到空闲节点上，这是最稳妥的长期解决方案。
• 配置Pod优先级与抢占：
  如果业务允许抢占，给需要优先调度的Pod配置更高优先级的PriorityClass，同时确保低优先级Pod的preemptionPolicy设置为PreemptLowerPriority，让调度器可以抢占低优先级Pod资源来调度新Pod。

内容的提问来源于stack exchange，提问作者Susheel Bhatt