基于Slurm集群与Hydra的作业阵列总数量管控技术咨询

给你两个实用方案，既能控制运行+待处理作业总数不超10，又能保住作业阵列的便利性：

1. 分批提交小阵列 #

把20个任务拆成两个10任务的小阵列，每次只提交一个，配合并行运行限制：

• 先提交第一批：sbatch --array=0-9%3 your_script.sh
  这个阵列最多跑3个任务，剩下7个待处理，加起来刚好10，完全符合集群规则。
• 等第一批的任务完成得差不多（比如剩余运行+待处理的数量降到7以下），再提交第二批：sbatch --array=10-19%3 your_script.sh

嫌手动提交麻烦？写个简单的监控脚本自动处理：

#!/bin/bash
USER=$(whoami)
# 集群允许的最大总作业数
MAX_TOTAL=10

# 先提交第一批阵列
sbatch --array=0-9%3 your_script.sh

# 循环监控，直到可以提交第二批
while true; do
    # 统计当前自己的作业数（减去squeue的表头行）
    CURRENT_COUNT=$(squeue -u $USER | wc -l)
    CURRENT_COUNT=$((CURRENT_COUNT - 1))
    
    # 当剩余名额够提交第二批时，触发提交
    if [ $CURRENT_COUNT -le $((MAX_TOTAL - 10)) ]; then
        sbatch --array=10-19%3 your_script.sh
        break
    fi
    # 每分钟检查一次
    sleep 60
done

2. 先Hold整个阵列，再自动释放 #

一次性提交完整的20任务阵列，但先把所有任务hold住，再写脚本监控队列，分批释放任务，确保总作业数不超10：

• 第一步，提交hold住的阵列：sbatch --array=0-19%3 --hold your_script.sh
  这时所有任务都处于HOLD状态，不会进入待处理队列，不会占名额。
• 第二步，用脚本监控并释放任务：

#!/bin/bash
USER=$(whoami)
MAX_TOTAL=10
# 获取刚提交的阵列ID
ARRAY_JOB_ID=$(squeue -u $USER -o "%A" | grep -v JOBID)

# 先释放第一批10个任务
scontrol release $ARRAY_JOB_ID_[0-9]

while true; do
    CURRENT_COUNT=$(squeue -u $USER | wc -l)
    CURRENT_COUNT=$((CURRENT_COUNT - 1))
    
    # 当队列有空位时，释放下一批任务
    if [ $CURRENT_COUNT -le $((MAX_TOTAL - 3)) ]; then
        # 检查还有多少未释放的任务
        UNRELEASED=$(sacct -j $ARRAY_JOB_ID --format=State | grep -E "HOLD|PENDING" | wc -l)
        if [ $UNRELEASED -eq 0 ]; then
            break
        fi
        # 这里可以根据剩余数量调整释放的范围，比如释放3个新任务
        scontrol release $ARRAY_JOB_ID_[10-12]
        # 后续循环可以继续调整释放的区间，避免重复
    fi
    sleep 60
done

配合Hydra的小技巧 #

如果你想直接通过Hydra配置实现，可以把任务分成多个子组，让Hydra分别生成对应的小阵列脚本，而不是一次性生成20任务的大阵列。

注意：Slurm本身没有直接的参数能同时限制阵列的运行+待处理总数，必须靠分批或者hold+释放的方式来管控。

内容的提问来源于stack exchange，提问作者Andrea Gobbi