如何实现Snakemake不同模块间规则的动态依赖？

问题根源 #

你遇到的路径叠加错误，本质是Snakemake模块的prefix特性导致的：每个模块会自动为内部所有文件路径添加指定前缀，当模块2引用模块1规则的输出时，模块2的上下文会再次给这个已经被前缀化的路径加上自己的prefix，最终生成错误的叠加路径output/module2/output/module1/output/test.txt。

可行解决方案 #

方法1：通过模块参数传递共享路径（推荐） #

主Snakefile统一管理所有模块的输出路径，通过模块参数传递给各个模块，让跨模块依赖的路径完全一致，避免自动前缀化的冲突。

修改后的代码示例

主Snakefile

# 定义全局共享路径
MODULE1_OUTPUT = "output/module1/test.txt"
MODULE2_OUTPUT = "output/module2/test2.txt"

# module1
module module1:
    snakefile:  "modules/module1/Snakefile"
    params:
        output_path = MODULE1_OUTPUT

use rule * from module1 as module1_*


# module2
module module2:
    snakefile:  "modules/module2/Snakefile"
    params:
        input_path = MODULE1_OUTPUT,
        output_path = MODULE2_OUTPUT

use rule * from module2 as module2_*


# ======== Main rule ===========
rule all:
    input:
        MODULE1_OUTPUT,
        MODULE2_OUTPUT     
    default_target: True

Module 1 (modules/module1/Snakefile)

rule create_txt:
    output:
        params.output_path
    shell:
        "mkdir -p $(dirname {output}) && touch {output}"

rule all:
    input:
        params.output_path

Module 2 (modules/module2/Snakefile)

rule create_txt2:
    input:
        params.input_path
    output:
        params.output_path
    shell:
        "mkdir -p $(dirname {output}) && touch {output}"

rule all:
    input:
        params.output_path

方法2：禁用模块prefix，手动管理路径 #

如果不需要模块自动添加前缀，可以去掉prefix参数，在模块内直接使用全局定义的路径变量，或者基于项目根目录的绝对路径。

简化示例

主Snakefile

# 全局路径变量
OUTPUT_DIR = "output"

# 导入模块时不指定prefix
module module1:
    snakefile:  "modules/module1/Snakefile"
    params:
        output_dir = OUTPUT_DIR

use rule * from module1 as module1_*

module module2:
    snakefile:  "modules/module2/Snakefile"
    params:
        output_dir = OUTPUT_DIR,
        module1_output = f"{OUTPUT_DIR}/module1/test.txt"

use rule * from module2 as module2_*

rule all:
    input:
        f"{OUTPUT_DIR}/module1/test.txt",
        f"{OUTPUT_DIR}/module2/test2.txt"

模块内的规则直接使用params传递的路径即可，避免自动前缀化导致的路径叠加。

验证运行 #

修改后执行snakemake -nr，会正常生成正确的依赖DAG，路径不会再叠加，跨模块规则的依赖关系也能正确建立。

内容的提问来源于stack exchange，提问作者Oliver Küchler