AWS Batch Jobs无法扩展至最大Vcpus问题咨询

• 校验queue A的基础配置是否生效 #

  先确认队列状态为ACTIVE，可直接在AWS控制台查看队列详情，也可运行AWS CLI命令校验参数：

  aws batch describe-job-queues --job-queues "queue A"
  

  检查返回结果中computeEnvironmentOrder关联的计算环境配置，确认计算环境的state为ENABLED、status为VALID。

• 检查计算环境的实例类型配置 #

  如果是Fargate类型计算环境，检查是否设置了实例类型限制，或仅选择了单一种类的实例类型；如果是EC2类型计算环境，确认勾选的实例类型总可用容量可支撑200VCPUs需求，比如仅选择4vCPU的实例类型、且该实例类型在当前可用区的启动配额只有10台的情况下，最多只能用到40VCPUs，和你当前的现象完全吻合。

• 核对任务定义的资源配置 #

  检查爬虫任务对应的任务定义中，单个任务占用的VCPU大小，同时确认提交的总任务数量足够消耗200VCPUs。比如单个任务配置为2VCPU，至少需要提交100个处于RUNNABLE状态的任务才能打满VCPU配额，任务提交数量不足的情况下，实际使用VCPUs自然达不到上限。

• 检查AWS账户服务配额 #

  登录AWS控制台进入Service Quotas页面，查询两个核心配额的当前值：
  • Batch服务对应的Running vCPUs配额是否大于等于200
  • 如使用EC2类型计算环境，对应实例类型的Running On-Demand instances或Spot Instance count配额是否足够支撑总VCPU需求
    以上任意一个配额不足都会导致计算环境无法扩容到预期VCPU数。

• 排查自动扩缩容限制 #

  检查queue A关联计算环境的扩缩容配置，确认是否设置了过长的缩容冷却时间、或过小的扩缩容步长限制，另外可查看计算环境的Status reason字段，扩容失败的原因通常会在该字段明确标注，常见原因包括实例容量不足、子网IP耗尽、安全组配置错误等。

• 校验任务调度规则 #

  检查队列是否配置了任务优先级、作业调度策略限制，或存在其他高优先级任务占用了部分VCPU配额，同时确认提交的爬虫任务没有配置依赖、超时等限制导致无法批量进入运行状态。

内容的提问来源于stack exchange，提问作者Marcos Paulo Júnior