如何修改Bash脚本实现HPCC上20个任务同时运行？

你的脚本之所以是串行执行，是因为循环里的命令会逐个等待完成才会执行下一个，没有让任务在后台并行运行。以下是两种可行的修改方案：

方案一：后台运行任务（简单快速） #

直接把每个任务放到后台执行，用&标记，最后用wait等待所有任务完成，同时用子shell避免目录切换影响主脚本：

cd $SLURM_SUBMIT_DIR

for ((i=0; i<20; i++))
do
    # 用子shell包裹任务，避免cd改变主脚本的工作目录
    (
        cd "$i"
        # 替换成你的实际运行命令
        ./your_task_command
    ) &  # & 让这个子shell在后台运行
done

wait  # 等待所有后台任务执行完毕再结束脚本

如果需要分开每个任务的日志输出，可以修改子shell里的命令，把输出定向到单独文件：

(
    cd "$i"
    ./your_task_command > ../task_${i}_output.log 2>&1
) &

方案二：使用SLURM作业数组（集群环境更规范） #

在HPCC这类SLURM管理的集群上，用作业数组是更可靠的并行方式，SLURM会自动分配资源、管理任务：

编写提交脚本（比如submit_parallel.sh）：

#!/bin/bash
#SBATCH --array=0-19          # 定义20个任务，索引从0到19
#SBATCH --nodes=1             # 每个任务用1个节点（可按需调整）
#SBATCH --ntasks-per-node=1   # 每个节点跑1个任务
#SBATCH --time=01:00:00       # 任务最长运行时间（按需修改）
#SBATCH --output=task_%a.log  # 每个任务的日志文件，%a会替换成数组索引

cd $SLURM_SUBMIT_DIR/${SLURM_ARRAY_TASK_ID}
# 运行你的任务命令
./your_task_command

然后用以下命令提交作业：

sbatch submit_parallel.sh

注意事项 #

• 如果任务占用较多CPU或内存，要根据集群节点的资源情况调整并行数量，避免因资源不足导致任务失败或性能下降。
• 作业数组方式更适合集群环境，SLURM会负责任务调度、失败重试等，比手动后台管理更稳定。

内容的提问来源于stack exchange，提问作者amirre