如何自动选择HPC中最先可运行的队列提交任务？

方案1：编写动态提交脚本（适配主流调度器） #

大多数HPC调度器支持通过命令查询队列状态，你可以写一个简单的脚本自动判断并选择负载更低的队列提交任务，比提交孪生任务更高效：

• Slurm示例：

  # 定义目标队列
  QUEUE1="queue_a"
  QUEUE2="queue_b"
  
  # 查询队列中等待的任务数（减去表头行）
  PENDING1=$(squeue -p $QUEUE1 -t PENDING | wc -l)
  PENDING1=$((PENDING1 - 1))
  PENDING2=$(squeue -p $QUEUE2 -t PENDING | wc -l)
  PENDING2=$((PENDING2 - 1))
  
  # 选择等待任务更少的队列提交
  if [ $PENDING1 -lt $PENDING2 ]; then
      sbatch -p $QUEUE1 your_job_script.sh
  else
      sbatch -p $QUEUE2 your_job_script.sh
  fi
  

  还可以结合sinfo查询队列空闲节点数，进一步提升判断准确性。
• PBS示例：

  QUEUE1="queue_a"
  QUEUE2="queue_b"
  
  # 获取队列待处理任务数
  PENDING1=$(qstat -Q -f $QUEUE1 | grep 'pending_jobs' | awk '{print $3}')
  PENDING2=$(qstat -Q -f $QUEUE2 | grep 'pending_jobs' | awk '{print $3}')
  
  if [ $PENDING1 -lt $PENDING2 ]; then
      qsub -q $QUEUE1 your_job_script.sh
  else
      qsub -q $QUEUE2 your_job_script.sh
  fi
  

方案2：利用调度器原生多队列提交支持 #

部分调度器允许提交任务时指定多个队列，调度器会自动选择第一个可用的队列：

• Slurm：用逗号分隔多个队列，调度器按顺序尝试分配资源：

  sbatch -p queue_a,queue_b your_job_script.sh
  

  注意：需要确认集群管理员是否开启了该功能，部分集群可能限制单队列提交。
• PBS Pro：通过-q参数指定队列列表，调度器会自动选择最优队列：

  qsub -q "queue_a,queue_b" your_job_script.sh
  

方案3：优化孪生任务方案（仅当以上方法不可行时使用） #

如果集群限制较多，可优化你提到的孪生任务思路，减少资源浪费：

• 给两个任务设置唯一共享标识（比如相同的任务名），任务启动时先检查是否有同名任务正在运行：
  以Slurm为例，在任务脚本开头加入：

  # 定义唯一任务标识
  JOB_TAG="my_task_2024"
  
  # 查询是否有其他同名任务在运行（排除当前任务）
  RUNNING_TASKS=$(squeue -n $JOB_TAG -t RUNNING | grep -v JOBID | wc -l)
  
  if [ $RUNNING_TASKS -gt 0 ]; then
      # 已有孪生任务启动，终止当前任务
      scancel $SLURM_JOB_ID
      exit 0
  fi
  
  # 执行实际任务
  your_app_command
  

  提交时给两个任务设置相同名称：

  sbatch -p queue_a --job-name=$JOB_TAG your_job_script.sh
  sbatch -p queue_b --job-name=$JOB_TAG your_job_script.sh
  

总结 #

优先尝试方案1或方案2，这两种方法更高效且不会浪费集群资源；若集群限制较多，再使用优化后的孪生任务方案。

内容的提问来源于stack exchange，提问作者Kvothe