EKS竞价节点组多实例配置仅小规格生效如何启用大实例

核心原因 #

EKS 混合实例规格的竞价型节点组配合集群自动伸缩组件执行扩容时，默认采用「实例列表顺序优先、单位算力成本最低」的选型逻辑，不会在扩容决策前校验排序靠前的小规格实例是否能满足待调度Pod的实际资源申请要求，会触发如下异常：即便Pod申请资源超过t3.xlarge的可承载上限，自动伸缩组件仍反复尝试扩容t3.xlarge，始终不会触发c5.4xlarge这类大规格实例的扩容，导致Pod持续挂起。

具体配置调整项 #

• 调整集群自动伸缩组件的扩容决策策略
  若使用Cluster Autoscaler（CA）做节点伸缩，将启动参数中的扩容选择器修改为--expander=least-waste，替换默认的成本优先策略。该策略会优先选择扩容后剩余资源最少、完全匹配待调度Pod资源需求的实例类型，不会盲目优先选择实例列表中排序靠前的低价小规格实例。
  若使用Karpenter做节点伸缩，直接在Provisioner配置中开启requirements的资源适配校验，让组件在选型阶段直接过滤掉vCPU、内存小于Pod总申请量的实例规格。
• 修正实例可调度资源的计算规则
  为自动伸缩组件配置准确的节点资源预留参数，将kubelet预留、系统组件占用、DaemonSet资源占用的偏移量纳入计算逻辑：以t3.xlarge为例，其标称资源为4vCPU/16G内存，实际扣除kube-reserved、system-reserved以及监控、日志等DaemonSet占用后，可分配给业务Pod的资源通常只有3_3.5vCPU、1213G内存。如果不配置该偏移量，组件会误判t3.xlarge可以承载4vCPU申请的Pod，反复扩容小规格节点却始终无法完成调度。对应CA场景需要补充启动参数--daemonset-eviction-for-empty-nodes=true，并匹配实际集群的资源预留值完成计算校准。
• 调整竞价节点组的实例分配策略
  将EKS托管节点组的竞价实例分配策略从默认的lowest-price修改为capacity-optimized-prioritized，同时为实例列表配置对应权重：小规格实例权重匹配低资源负载场景，大规格实例权重匹配高资源负载场景，当待调度Pod资源申请超过小规格承载阈值时，组件会直接选择大规格实例的竞价容量池扩容，不会被低价小规格的分配逻辑拦截。
• 跨大档位规格建议拆分节点组
  如果单节点组内的实例规格vCPU差值超过2倍（比如4vCPU的t3.xlarge和16vCPU的c5.4xlarge），建议拆分为两个独立的弹性节点组：低算力组承载常规小资源申请的Pod，高算力组通过标签、污点做逻辑隔离，让申请大资源的Pod通过节点亲和性、资源request直接匹配高算力节点组，从架构层面避免同节点组内小规格实例的选型逻辑干扰。
• 校验基础配置拦截项
  确认大资源申请的Pod没有配置错误的节点选择器、亲和性规则将c5.4xlarge实例排除在可调度范围外，同时确认节点组的IAM权限、对应可用区的实例配额足够拉起c5.4xlarge这类大规格竞价实例，排除权限、配额侧的拦截问题。

配置完成后可以提交一个申请6vCPU资源的测试Pod验证扩容逻辑，正常情况下组件会在1~2分钟内直接扩容c5.4xlarge节点完成调度，不会再反复创建t3.xlarge实例。

内容的提问来源于stack exchange，提问作者hellified