如何结合for循环在配对fastq文件上使用SLURM_ARRAY_TASK_ID？

问题背景 #

有一个fastq文件夹，包含180个配对FastQ文件（共90对），命名规则为*_R1.fastq.gz和*_R2.fastq.gz（例如abc_R1.fastq.gz对应abc_R2.fastq.gz）。需用spades.py的--meta模式批量处理每一对文件，原本计划用SLURM数组任务，但服务器限制数组最大任务数为25，无法直接运行90个任务，因此需要改用循环实现，且输出文件夹名称需与对应文件对关联。

此前尝试的SLURM数组命令：

file1=$(ls /filepath/*R1.fastq.gz | sed -n ${SLURM_ARRAY_TASK_ID}p)
file2=$(ls /filepath/*R2.fastq.gz | sed -n ${SLURM_ARRAY_TASK_ID}p)

spades.py --meta -1 ${file1} -2 ${file2} -o outputpath/"${file1##R1.fast.gz}p"

解决方案 #

方法1：循环遍历+SLURM批次拆分 #

步骤1：提取所有配对文件的唯一前缀

先获取所有_R1.fastq.gz文件的前缀（去掉_R1.fastq.gz后缀），确保每对文件只保留一个标识：

cd /path/to/fastq
# 提取前缀并保存到文件，后续批次处理用
ls *_R1.fastq.gz | sed 's/_R1.fastq.gz$//' > prefix_list.txt

步骤2：编写分批次SLURM脚本

由于服务器限制单个数组最多25个任务，将90对拆分为4批次（25+25+25+15），每批次提交一个数组任务：

#!/bin/bash
#SBATCH --job-name=spades_process
#SBATCH --array=1-25%25  # 第一批次处理前25个，后续依次改为26-50、51-75、76-90
#SBATCH --output=spades_%A_%a.out
#SBATCH --error=spades_%A_%a.err

# 定义路径
INPUT_DIR="/path/to/fastq"
OUTPUT_BASE="/path/to/outputpath"
PREFIX_FILE="/path/to/prefix_list.txt"

# 获取当前任务对应的前缀
prefix=$(sed -n ${SLURM_ARRAY_TASK_ID}p ${PREFIX_FILE})

# 匹配对应R1/R2文件
file1="${INPUT_DIR}/${prefix}_R1.fastq.gz"
file2="${INPUT_DIR}/${prefix}_R2.fastq.gz"
# 输出文件夹用前缀命名，避免混乱
output_dir="${OUTPUT_BASE}/output_${prefix}"

# 检查R2文件存在后执行spades
if [ -f ${file2} ]; then
    spades.py --meta -1 ${file1} -2 ${file2} -o ${output_dir}
else
    echo "警告：${file2} 不存在，跳过 ${prefix}" >&2
    exit 1
fi

分四次提交该脚本，每次修改--array的数值范围即可。

方法2：xargs并行循环（无需SLURM数组） #

如果不想拆分批次，可直接用xargs控制并行进程数（最多25个），实现批量处理：

cd /path/to/fastq
# 遍历所有前缀，同时运行25个spades进程
ls *_R1.fastq.gz | sed 's/_R1.fastq.gz$//' | xargs -I {} -P 25 bash -c '
    file1="{}_R1.fastq.gz"
    file2="{}_R2.fastq.gz"
    output_dir="/path/to/outputpath/output_{}"
    # 确保输出目录存在
    mkdir -p ${output_dir}
    spades.py --meta -1 ${file1} -2 ${file2} -o ${output_dir}
'

-P 25参数限制同时运行的进程数，刚好适配服务器的并行限制。

注意事项 #

• 确保spades.py在环境变量中，或使用完整路径（如/path/to/bin/spades.py）
• 输出文件夹用前缀命名，避免重名和结果混乱
• 处理前可先检查所有R1文件都有对应的R2文件，减少报错

内容的提问来源于stack exchange，提问作者Sam Degregori