如何为GKE集群配置CPU节点压力驱逐以避免Pod CPU节流

问题背景 #

我管理着一个运行相同机器学习模型的GKE集群，这些模型的CPU使用率会随当前负载大幅波动，因此设置了跨度较大的CPU分配上下限：

resources:
  requests:
    cpu: 500m
    memory: 4000Mi
  limits:
    cpu: "4"
    memory: 6000Mi

节点规格如下：

CPU: 4 vCPU
Memory: 16GiB

但有时Pod会耗尽单个节点的所有CPU资源却未达到其限制，而GKE节点自动扩缩容基于资源请求（而非实际利用率），集群不会新增节点或驱逐现有Pod释放资源，常导致Pod性能严重节流。

问题示例 #

初始时集群仅有一个节点（Node A），包含3个Pod，每个使用0.5 vCPU和4GiB内存，总资源利用率为1.5 vCPU和12 GiB内存。
数小时后，其中两个Pod的CPU使用率从0.5 vCPU升至1.5 vCPU，总利用率达到4 vCPU和12 GiB内存。
此时CPU资源已耗尽，即使负载持续增加，Pod也无法分配更多CPU，从而出现节流现象。

核心问题 #

是否存在解决方案，可确保每个Pod的CPU利用率尽可能扩展而不出现节流？

理想行为如下：

cluster detects 100% CPU utilization on Node A
  -> cluster creates new node (Node B)
    -> pod(s) are evicted from Node A to Node B

这与内存利用率达到节点最大容量时的node-pressure eviction行为一致。

解决方案 #

1. 基于实际利用率触发集群扩缩容 #

配置GKE Cluster Autoscaler支持自定义指标扩缩容：

• 通过Prometheus采集节点CPU使用率指标，借助Custom Metrics API将指标暴露给Cluster Autoscaler
• 设置扩缩容规则，当节点CPU使用率超过预设阈值（如80%）时触发节点扩容；同时配合Pod Disruption Budget，确保Pod迁移过程中服务可用性不受影响。

2. 优化Pod资源请求与限制策略 #

• 启用Vertical Pod Autoscaler（VPA）：让VPA根据Pod实际CPU使用率动态调整CPU请求值。当Pod负载上升时，VPA会自动提高Pod的CPU请求，触发Cluster Autoscaler基于更新后的请求值新增节点，避免单节点CPU资源耗尽。
• 缩小请求与限制的跨度：如果业务允许，适当提高CPU请求基线（例如从500m调整为1vCPU），保留4vCPU的限制。这样初始调度时节点上的Pod数量减少，单节点CPU预留更合理，负载上升时Pod有更多扩展空间。

3. 配置CPU触发的节点压力驱逐 #

Kubernetes默认node-pressure eviction仅针对内存和磁盘，可修改kubelet配置启用CPU驱逐：

• 在GKE节点池的自定义kubelet参数中设置--eviction-hard=memory.available<100Mi,nodefs.available<10%,cpu.usage>90%（阈值可根据业务调整）
• 当节点CPU使用率超过设定阈值时，kubelet会驱逐优先级较低的Pod，为剩余Pod腾出资源；同时Cluster Autoscaler会根据Pod调度需求新增节点。

4. 配置Pod拓扑分布约束 #

通过topologySpreadConstraints配置Pod的拓扑分布规则，确保相同服务的Pod均匀分布在不同节点上，避免单个节点上Pod数量过多导致CPU资源集中耗尽，从调度层面降低单节点负载过高的风险。

内容的提问来源于stack exchange，提问作者ayam