如何通过单个Slurm批处理脚本实现任务并行,将总运行时长从120s降至60s
并行执行修改方案
核心问题原因
原脚本串行执行的原因有两个:
- 每条
srun默认会请求当前作业分配的全部ntasks资源,第一条运行时会占满已分配的2个任务槽,第二条必须等第一条释放资源才能启动 srun默认以前台模式运行,第一条执行完成后才会触发第二条命令的执行
修改后的完整脚本
#!/bin/bash # #SBATCH --job-name=test #SBATCH --output=/dev/null #SBATCH --error=/dev/null #SBATCH --ntasks=2 #SBATCH --cpus-per-task=1 #SBATCH --mem-per-cpu=1G #SBATCH --partition=All #SBATCH --time=5:00 # 每个srun单独指定占用1个任务槽,放入后台运行 srun --ntasks=1 sleep 60 & srun --ntasks=1 sleep 60 & # 等待所有后台任务执行结束,避免脚本提前退出 wait
关键改动说明
- 给每个
srun添加--ntasks=1参数:整个作业已分配2个任务槽,每个任务仅占用1个,不会出现资源抢占等待的问题 srun命令末尾添加&:将任务放入后台执行,不会阻塞下一条命令的启动,实现并行调度- 保留
wait命令:等待所有后台启动的srun任务全部执行完成,批处理脚本才会退出,不会出现任务还没跑完就结束作业的情况
注意:如果省略
srun后的--ntasks=1参数,就算添加&放入后台,第一个srun也会占满全部2个任务槽,第二个srun仍然需要等待第一个结束才能启动,无法实现并行。
自定义扩展用法
单独存储每个任务的日志
如果需要分开查看不同任务的运行日志和错误输出,可给每个srun单独指定日志路径:
srun --ntasks=1 --output=task1.log --error=task1.err sleep 60 & srun --ntasks=1 --output=task2.log --error=task2.err sleep 60 & wait
替换为实际Python脚本
直接将sleep 60替换为对应的Python执行命令即可:
srun --ntasks=1 python /path/to/first_script.py & srun --ntasks=1 python /path/to/second_script.py & wait
内容的提问来源于stack exchange,提问作者Felix Hohnstein
相关产品推荐
相关产品推荐

