如何在SLURM中限制单节点并行执行的程序数量

你当前的脚本中，所有命令通过&直接后台启动，SLURM的--ntasks=4是向集群申请4个任务资源，但该参数仅管控SLURM层面的任务数量——脚本内的后台进程属于同一个SLURM任务的子进程，SLURM不会主动限制这些子进程的并发量，因此所有N个命令会同时启动。

以下是三种可行的解决方案：

方法1：使用GNU Parallel（推荐） #

GNU Parallel是专门用于控制命令并行执行数量的工具，完全匹配你的需求。修改脚本如下：

############# file name: ./run_parallel_commands.sh #############
#!/bin/bash
#SBATCH --nodes=1
#SBATCH --ntasks=4
#SBATCH --mem-per-cpu=1G

# 直接列出所有命令，-j4指定最多同时运行4个任务
parallel -j4 ::: \
./command-1 \
./command-2 \
# ... 继续添加剩余的command-N
./command-N

# 若命令过多，可将所有命令写入commands.txt（每行一个命令），改用以下写法：
# parallel -j4 < commands.txt

-j4参数会限制并发数为4，GNU Parallel会自动维护任务队列，一个命令执行完毕后立即启动下一个，直到所有命令完成。部分集群需先加载模块：module load parallel，若未安装可联系管理员。

方法2：原生Bash循环+计数器控制 #

如果集群没有GNU Parallel，可通过原生Bash逻辑手动控制并发：

############# file name: ./run_parallel_commands.sh #############
#!/bin/bash
#SBATCH --nodes=1
#SBATCH --ntasks=4
#SBATCH --mem-per-cpu=1G

MAX_PARALLEL=4
count=0

# 遍历所有需要执行的命令
for cmd in "./command-1" "./command-2" ... "./command-N"; do
    $cmd &
    count=$((count+1))
    # 达到最大并发数时，等待任意一个后台进程结束后再继续
    if [ $count -ge $MAX_PARALLEL ]; then
        wait -n
        count=$((count-1))
    fi
done
# 等待最后一批后台命令执行完毕
wait

wait -n会等待最近完成的一个后台进程，从而始终保持最多4个命令同时运行。

方法3：SLURM数组任务（适合命令结构相似场景） #

若N个命令仅参数不同（如同一脚本搭配不同输入），可使用SLURM数组任务让集群直接管理并发：

首先编写单命令执行脚本run_single_command.sh：

#!/bin/bash
#SBATCH --nodes=1
#SBATCH --ntasks=1
#SBATCH --mem-per-cpu=1G

# 根据数组索引匹配对应命令
case $SLURM_ARRAY_TASK_ID in
    1) ./command-1 ;;
    2) ./command-2 ;;
    # ... 补充剩余命令的匹配规则
    N) ./command-N ;;
esac

然后提交数组任务：

sbatch --array=1-N%4 run_single_command.sh

--array=1-N%4表示创建1到N的数组任务，%4限制同时运行4个任务，SLURM会自动调度任务，完成一个即启动下一个。

额外注意 #

如果你的命令本身会启用多线程，需添加--cpus-per-task=1到SLURM参数，并在命令前设置OMP_NUM_THREADS=1（或对应线程控制变量），确保每个命令仅占用1个物理核心。

内容的提问来源于stack exchange，提问作者rrpp1045