如何强制Slurm将GPU作业打包到部分占用节点以释放全节点？

问题描述 #

当用户通过sbatch --gres=gpu:1申请1-2块GPU时，Slurm默认会锁定整个8-GPU节点，引发集群碎片化：

• 多个小请求分散在不同节点（例如4个1-GPU作业占用4个独立节点）
• 整节点无法被多节点训练这类需要完整节点的工作负载利用
• 集群存在可用容量但被浪费：若小作业打包到同一节点，可腾出4个整节点运行大作业

期望行为 #

后续GPU分配优先选择已部分占用的节点，将小作业集中打包，释放更多完整节点供大负载使用。

解决方案（针对Slurm 23.11.8） #

1. 修正资源选择参数（核心关键） #

如果当前SelectTypeParameters=CR_Node，会导致申请部分GPU时锁定整个节点，必须修改为：

SelectType=select/cons_res
SelectTypeParameters=CR_GPU

该配置让Slurm按GPU资源进行细粒度分配，允许单个节点被多个作业共享GPU，是实现小作业打包的基础。

2. 启用回填调度器的打包策略 #

在slurm.conf中配置回填调度器并开启打包：

SchedulerType=sched/backfill
BackfillPacking=1

BackfillPacking=1会让回填调度器优先将小作业调度到已部分占用的节点，而非分配新的空节点，直接减少碎片化。

3. 确认GPU共享配置 #

确保节点GPU支持共享，在slurm.conf的节点定义中包含：

NodeName=node[01-XX] Gres=gpu:8 GresShared=yes ...

GresShared=yes允许同一节点的GPU被多个作业共享，配合上述参数实现节点内多作业共存。

4. 可选：优化作业优先级与分区 #

• 为整节点作业设置更高优先级，通过PriorityType=priority/multifactor配置，确保大作业能优先获取释放的整节点
• 可创建专用分区：比如一个分区用于小作业（强制共享节点），另一个用于整节点作业，通过分区参数隔离负载（需权衡管理成本）

验证步骤 #

1. 修改slurm.conf后，重启slurmctld和slurmd服务
2. 提交多个sbatch --gres=gpu:1作业，检查是否被分配到同一节点
3. 提交需要整节点的作业，确认是否能成功获取完整节点

内容的提问来源于stack exchange，提问作者train-server