如何用Nextflow DSL2实现多进程并行及结果合并工作流？

关键修改说明 #

• 进程输入输出定义：Nextflow DSL2需明确指定输入输出类型（如val、stdout），通过emit为通道命名，方便后续引用。
• 工作流连接语法：并行进程的输出需同时传入下游进程，直接将两个通道作为参数调用下游进程即可实现配对处理。

完整可运行代码 #

#!/usr/bin/env nextflow
nextflow.enable.dsl=2

process produceRandomX {
    output:
        stdout emit: x  # 捕获标准输出，生成命名通道x

    """
    echo $RANDOM
    """
}

process produceRandomY {
    output:
        stdout emit: y  # 捕获标准输出，生成命名通道y

    """
    echo -$RANDOM
    """
}

process calculateSum {
    input:
        val x  # 接收单个值类型输入
        val y  # 接收单个值类型输入
    output:
        stdout emit: sum  # 捕获计算结果，生成命名通道sum

    """
    echo $((x + y))
    """
}

process printResult {
    input:
        val sum  # 接收计算结果值

    """
    echo "最终计算结果: $sum"
    """
}

workflow {
    // 并行执行两个生成随机数的进程，获取输出通道
    def x_channel = produceRandomX.out.x
    def y_channel = produceRandomY.out.y

    // 将两个通道输入传给求和进程，再将结果传给打印进程
    calculateSum(x_channel, y_channel) | printResult
}

细节解释 #

1. produceRandomX/produceRandomY进程：

   • 用stdout emit: x捕获进程标准输出，生成可被下游引用的命名通道。
   • 替换print为bash内置命令echo，确保输出能被正确捕获。

2. calculateSum进程：

   • 输入定义为val类型，表明接收单个数值（而非文件路径）。
   • 使用bash算术扩展$((x + y))实现整数加法运算。

3. 工作流逻辑：

   • 两个生成进程会自动并行执行，无需额外配置。
   • 将两个输出通道作为参数传给calculateSum，Nextflow会自动完成通道元素配对（此处每个进程仅生成一个值，刚好一一对应）。

内容的提问来源于stack exchange，提问作者matteok