无管理员权限时，如何在Slurm作业提交中按优先级选择GPU节点？

可以实现，无需修改集群配置，用Slurm自带的--prefer选项结合--constraint就能满足需求：按A100节点→V100节点→无特性节点的优先级调度作业，当高优先级节点繁忙时，自动 fallback到下一级节点，而非仅等待特定节点空闲。

具体实现方法 #

根据你节点的特性配置，有两种常用写法：

1. 基于节点特性（推荐，无需硬编码节点名）

在批处理脚本中添加以下SBATCH指令：

#SBATCH --constraint="A100|V100|(~A100&~V100)"
#SBATCH --prefer="feature:A100,feature:V100"

• --constraint：限定作业只能在带有A100特性、V100特性，或既无A100也无V100特性的节点上运行，确保只在你指定的三个节点类型中选择。
• --prefer：设置优先级顺序，调度器会优先尝试分配带有A100特性的节点；若所有A100节点繁忙，再尝试V100节点；最后才选择无特性的节点。

2. 基于节点名（适合节点固定的场景）

如果你知道三个节点的具体名称（比如node-a100、node-v100、node-slow），可以直接指定节点列表和优先级：

#SBATCH --nodelist=node-a100,node-v100,node-slow
#SBATCH --prefer=node-a100,node-v100

注意事项 #

• --prefer选项要求Slurm版本≥17.11，若集群版本较低，可通过以下替代方案实现：
  编写一个简单的提交脚本，先提交作业到A100节点，用squeue检查作业状态，若一段时间内未进入运行状态则取消当前作业，再提交到包含A100+V100的约束，以此类推。示例逻辑如下：

  # 先提交到A100节点
  JOB_ID=$(sbatch --constraint=A100 your_script.sh | awk '{print $4}')
  # 等待5分钟（300秒）检查状态
  sleep 300
  if squeue -j $JOB_ID | grep -q "PD"; then
      scancel $JOB_ID
      # 提交到A100+V100节点
      JOB_ID=$(sbatch --constraint="A100|V100" your_script.sh | awk '{print $4}')
      sleep 300
      if squeue -j $JOB_ID | grep -q "PD"; then
          scancel $JOB_ID
          # 提交到所有三个节点
          sbatch --constraint="A100|V100|(~A100&~V100)" your_script.sh
      fi
  fi
  

  这种方法需要手动调整等待时间，不如--prefer简洁，但适配旧版本Slurm。

内容的提问来源于stack exchange，提问作者Oskar