Nextflow不同进程执行环境存在差异的原因排查

问题背景 #

我定义了两个Nextflow进程：scatter()生成两个文件，随后parallel()会为每个文件各启动一次。运行时发现scatter()进程能看到完整的仓库目录内容，但两个parallel()进程仅能看到work目录。实际场景中，parallel()进程执行poetry run ...时会报错：

Poetry could not find a pyproject.toml file in /home/alex/my_cool_repo/work/f3/766313fbc5d6aeeb39f19193956ffd or its parents

想知道不同进程的执行环境为何存在这种差异？

Nextflow脚本代码 #

// bug.nf
nextflow.enable.dsl = 2

workflow {
    main:
        scatter(params.config)

        scatter.out.configs
            | flatten
            | parallel
}

process scatter {
    container "python:3.11.8"

    input:
        path "config.txt"

    output:
        path "config*.txt", emit: configs

    script:
        """
        echo $PWD
        ls -hal /home/alex/my_cool_repo

        touch config1.txt
        touch config2.txt
        """
}

process parallel {
    container "python:3.11.8"
    
    input:
        path "config.txt"

    script:
        """
        echo $PWD
        ls -hal /home/alex/my_cool_repo
        """
}

运行命令 #

nextflow run nextflow/bug.nf --config /home/alex/my_cool_repo/my_cool_repo/config/bla.txt

原因分析 #

Nextflow的容器挂载策略是核心差异的来源：

• scatter()进程：输入是宿主机器本地的config.txt文件（路径指向仓库目录下），Nextflow会自动将该文件的父级目录（甚至整个仓库根目录）挂载到容器内部，因此进程能访问仓库下的所有内容，包括pyproject.toml。
• parallel()进程：输入是scatter()生成的中间文件，这些文件存储在Nextflow的work目录下。此时Nextflow仅会挂载该进程对应的work子目录到容器中，不会挂载宿主的仓库目录，因此容器内无法访问到仓库根目录下的pyproject.toml，执行poetry run时触发找不到配置文件的错误。

解决方案 #

方法1：显式挂载仓库目录 #

在parallel进程中添加containerOptions参数，手动将宿主仓库目录挂载到容器内的对应路径：

process parallel {
    container "python:3.11.8"
    containerOptions "-v /home/alex/my_cool_repo:/home/alex/my_cool_repo"
    
    input:
        path "config.txt"

    script:
        """
        echo $PWD
        ls -hal /home/alex/my_cool_repo
        """
}

方法2：通过参数指定仓库路径并切换工作目录 #

将仓库根目录作为参数传入流程，在parallel进程中切换到该目录执行命令，确保目录被正确挂载：

1. 启动命令添加仓库路径参数：

nextflow run nextflow/bug.nf --config /home/alex/my_cool_repo/.../bla.txt --repo_root /home/alex/my_cool_repo

2. 修改parallel进程：

process parallel {
    container "python:3.11.8"
    containerOptions "-v ${params.repo_root}:${params.repo_root}"
    
    input:
        path "config.txt"

    script:
        """
        cd ${params.repo_root}
        echo $PWD
        poetry run ...
        """
}

内容的提问来源于stack exchange，提问作者r0f1