You need to enable JavaScript to run this app. 如何通过单个Slurm批处理脚本实现任务并行,将总运行时长从120s降至60s
优惠活动
大模型
产品
解决方案
定价
更多

如何通过单个Slurm批处理脚本实现任务并行,将总运行时长从120s降至60s

并行执行修改方案

核心问题原因

原脚本串行执行的原因有两个:

  • 每条srun默认会请求当前作业分配的全部ntasks资源,第一条运行时会占满已分配的2个任务槽,第二条必须等第一条释放资源才能启动
  • srun默认以前台模式运行,第一条执行完成后才会触发第二条命令的执行

修改后的完整脚本

#!/bin/bash
#
#SBATCH --job-name=test
#SBATCH --output=/dev/null
#SBATCH --error=/dev/null
#SBATCH --ntasks=2
#SBATCH --cpus-per-task=1
#SBATCH --mem-per-cpu=1G
#SBATCH --partition=All
#SBATCH --time=5:00

# 每个srun单独指定占用1个任务槽,放入后台运行
srun --ntasks=1 sleep 60 &
srun --ntasks=1 sleep 60 &
# 等待所有后台任务执行结束,避免脚本提前退出
wait

关键改动说明

  • 给每个srun添加--ntasks=1参数:整个作业已分配2个任务槽,每个任务仅占用1个,不会出现资源抢占等待的问题
  • srun命令末尾添加&:将任务放入后台执行,不会阻塞下一条命令的启动,实现并行调度
  • 保留wait命令:等待所有后台启动的srun任务全部执行完成,批处理脚本才会退出,不会出现任务还没跑完就结束作业的情况

注意:如果省略srun后的--ntasks=1参数,就算添加&放入后台,第一个srun也会占满全部2个任务槽,第二个srun仍然需要等待第一个结束才能启动,无法实现并行。

自定义扩展用法

单独存储每个任务的日志

如果需要分开查看不同任务的运行日志和错误输出,可给每个srun单独指定日志路径:

srun --ntasks=1 --output=task1.log --error=task1.err sleep 60 &
srun --ntasks=1 --output=task2.log --error=task2.err sleep 60 &
wait

替换为实际Python脚本

直接将sleep 60替换为对应的Python执行命令即可:

srun --ntasks=1 python /path/to/first_script.py &
srun --ntasks=1 python /path/to/second_script.py &
wait

内容的提问来源于stack exchange,提问作者Felix Hohnstein

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.29 01:54:03