Kubernetes配置ResourceQuota后如何让超配额Pod保持Pending而非返回403

首先明确原生ResourceQuota的行为逻辑：

Kubernetes原生ResourceQuota工作在API准入校验阶段，Pod创建请求到达API Server时会立即校验配额是否充足，不足时直接返回403 FORBIDDEN，Pod不会被存入etcd，自然也无法进入Pending状态等待调度。

以下是两种可落地的实现方案：

方案1：使用Kueue实现队列式配额管控（生产级推荐） #

Kueue是Kubernetes官方维护的作业队列管理组件，支持命名空间级、团队级的资源配额管控，完全匹配需求，核心特性如下：

• 配额不足时不会直接拒绝工作负载提交请求，会将对应作业（支持Deployment、Job、裸Pod等所有常用工作负载类型）进入Pending队列
• 持续监控配额使用情况，当有资源释放时自动按优先级、提交顺序调度等待的作业
  配置流程简化说明：
• 部署Kueue组件到集群
• 定义ResourceFlavor描述集群可分配的资源类型
• 定义ClusterQueue绑定资源配额上限，配置队列调度规则
• 定义对应命名空间下的LocalQueue，关联到上述ClusterQueue
  配置完成后该命名空间下的所有工作负载都会由Kueue统一做配额校验，超配额时自动进入等待队列，不会返回403错误。

方案2：自研轻量自定义配额控制器（轻量场景适用） #

如果不想引入额外组件，可以自研简单控制器实现需求：

• 关闭目标命名空间的原生ResourceQuota校验，或者将原生配额阈值调高到远大于实际期望的上限
• 自研自定义控制器监听该命名空间下的Pod创建事件，实时统计当前所有运行中+已调度Pod的resources.requests总和
• 若资源使用未超过配额阈值，直接放行调度；若超出阈值，给Pod添加spec.schedulingGates阻塞调度，使其保持Pending状态
• 控制器持续监控命名空间资源使用情况，当有资源释放时，按提交顺序移除Pending Pod的schedulingGates，允许调度器正常调度

配套注意项 #

• 两种方案都需要保证所有Pod必须声明resources.requests才能正常统计资源使用，可配合LimitRange给未显式声明资源的Pod自动注入默认请求值，避免统计遗漏
• 如果需要区分不同作业的调度优先级，可配合Kubernetes原生PriorityClass配置队列的调度顺序，保证高优先级作业优先被调度

内容的提问来源于stack exchange，提问作者Djoby