使用GNU Parallel与SLURM时出现命令未找到错误求助

错误根源 #

1. 递归调用死循环：原脚本通过PARALLEL_SEQ判断是否启动GNU Parallel，但该变量并非Parallel默认设置的环境变量，导致Parallel调用脚本时，脚本会再次启动Parallel，最终触发解析错误。
2. 变量引用错误：PARALLEL_SEQ不存在，计算IDX时变量为空，bash解析算术表达式出错，进而误将无效内容当作命令执行，出现/bin/bash: 0: command not found这类错误。
3. 任务分配逻辑错误：每个SLURM数组任务（节点）都重复处理所有numtasks中的任务，既浪费资源，又导致任务冲突。

修复后的脚本 #

#!/usr/bin/env bash
#SBATCH --job-name job-name
#SBATCH --cpus-per-task=8  # 按节点并行任务数调整，比如每个节点跑8个任务
#SBATCH --array=0-2        # 3个节点

# 区分SLURM启动的父进程和Parallel启动的子任务
if [ -z "$IS_PARALLEL_TASK" ]; then
    # 父进程：计算当前节点负责的任务范围
    TOTAL_TASKS=$(wc -l < numtasks)
    # 平均分配任务到3个节点，向上取整避免遗漏
    TASKS_PER_NODE=$(( (TOTAL_TASKS + 2) / 3 ))
    START_IDX=$(( SLURM_ARRAY_TASK_ID * TASKS_PER_NODE + 1 ))
    END_IDX=$(( START_IDX + TASKS_PER_NODE - 1 ))
    [ $END_IDX -gt $TOTAL_TASKS ] && END_IDX=$TOTAL_TASKS

    # 启动Parallel处理当前节点的任务子集
    parallel --retry-failed --retries 5 \
             --joblog joblog_node_${SLURM_ARRAY_TASK_ID}.txt \
             --jobs $SLURM_CPUS_PER_TASK \
             --env IS_PARALLEL_TASK \
             $0 {} ::: $(seq $START_IDX $END_IDX)
    exit 0
fi

# 子进程：执行单个任务
IDX=$1
# 创建目录并切换，加错误处理防止后续步骤出错
mkdir -p "res-${IDX}" && cd "res-${IDX}" || exit 1

source "${HOME}/.bashrc"
conda activate myenv
cp ../myscript.py .

python3 ./myscript.py "${IDX}"

关键修改点 #

• 新增IS_PARALLEL_TASK标记，彻底避免脚本递归调用Parallel。
• 每个SLURM节点仅处理分配给自己的任务范围，避免重复计算。
• 为每个节点生成独立的任务日志，防止日志覆盖冲突。
• 用位置参数$1接收任务ID，取代原脚本中不存在的PARALLEL_SEQ变量。
• 增加目录操作的错误处理，避免在无效路径下执行后续命令。
• 显式指定Parallel的并行任务数为$SLURM_CPUS_PER_TASK，匹配SLURM分配的核心数。

内容的提问来源于stack exchange，提问作者Eenoku