Nextflow进程遍历文件时species_name变量未识别问题求助

问题分析 #

报错No such variable: species_name的核心原因是Nextflow会解析双引号包裹的脚本块中的变量，而species_name是shell while循环内的局部变量，Nextflow在编译阶段无法识别该变量，因此抛出错误。此外原代码还存在两处问题：

• awk变量传递格式错误：-v "$species_name"不符合-v var=value的awk语法规范
• 输入文件未显式声明：进程未将output.kraken、$sequences和fungal_species.txt作为输入参数，依赖工作目录中存在这些文件，不符合Nextflow的文件管理逻辑

快速修复（保留单进程循环） #

修改脚本块中shell变量的引用方式，用反斜杠转义${species_name}避免Nextflow解析，同时修正awk变量传递格式，并显式声明所有输入文件：

process fungal_reads_extraction {

     publishDir("${params.extraction_output}" , mode: 'copy') 
     
     input:
     path output_kraken  // 显式接收output.kraken
     path sequences      // 接收序列文件
     path fungal_species // 接收物种列表文件
     
     output:
     path "*_reads.fastq" , emit: reads_extracted_out
     
     script:
     """
   while read -r species_name; do

# 提取Kraken文件中第三列匹配物种名的行
     awk -F'\t' -v species="\${species_name}" 'BEGIN {OFS="\t"} \$3 ~ species {print}' ${output_kraken} > "\${species_name}_lines.txt"

# 提取物种行中的accession号
     awk -F'\t' '{print \$2}' "\${species_name}_lines.txt" > "\${species_name}_accessions.txt"

# 为每个accession号添加@前缀
     awk '{print "@" \$0}' "\${species_name}_accessions.txt" > "\${species_name}_full_accessions.txt"

# 提取对应物种的reads
     cat ${sequences} | awk 'NR==FNR {accessions[\$1]=1; next} \$1 in accessions {print; getline; print; getline; print; getline; print}' "\${species_name}_full_accessions.txt" - > "\${species_name}_reads.fastq"

# 清理中间文件
     rm "\${species_name}_lines.txt" "\${species_name}_accessions.txt" "\${species_name}_full_accessions.txt"

   done < ${fungal_species}

     """

}

推荐方案（Nextflow原生并行） #

Nextflow的核心优势是并行处理，更合理的做法是将每个物种作为独立任务启动进程，而非在单进程内循环：

// 读取物种列表文件，生成每个物种对应的Channel
species_ch = Channel.fromPath('fungal_species.txt')
                    .splitCsv(header: false, sep: '\n')
                    .map { it[0] }

// 准备输入文件的Channel
kraken_ch = Channel.fromPath('output.kraken')
sequences_ch = Channel.fromPath(params.sequences)  // 假设序列文件路径通过参数传入

// 合并Channel，每个任务对应一个物种+一套输入文件
process_input_ch = species_ch.combine(kraken_ch).combine(sequences_ch)

process fungal_reads_extraction {

     publishDir("${params.extraction_output}" , mode: 'copy') 
     
     input:
     tuple val(species_name), path(output_kraken), path(sequences)
     
     output:
     path "${species_name}_reads.fastq" , emit: reads_extracted_out
     
     script:
     """
# 提取Kraken文件中第三列匹配物种名的行
awk -F'\t' -v species="${species_name}" 'BEGIN {OFS="\t"} \$3 ~ species {print}' ${output_kraken} > "${species_name}_lines.txt"

# 提取物种行中的accession号
awk -F'\t' '{print \$2}' "${species_name}_lines.txt" > "${species_name}_accessions.txt"

# 为每个accession号添加@前缀
awk '{print "@" \$0}' "${species_name}_accessions.txt" > "${species_name}_full_accessions.txt"

# 提取对应物种的reads
cat ${sequences} | awk 'NR==FNR {accessions[\$1]=1; next} \$1 in accessions {print; getline; print; getline; print; getline; print}' "${species_name}_full_accessions.txt" - > "${species_name}_reads.fastq"

# 清理中间文件
rm "${species_name}_lines.txt" "${species_name}_accessions.txt" "${species_name}_full_accessions.txt"
     """

}

// 启动进程
fungal_reads_extraction(process_input_ch)

这种方式可以让Nextflow自动并行处理所有物种，大幅提升运行效率，同时便于单个任务的调试和监控。

内容的提问来源于stack exchange，提问作者Mohamed Aziz Hadj Nasr