Snakemake如何配置使merge规则等待前序split规则所有分片生成后执行

当前你使用directory("shard_output_folder")作为split规则的输出时，Snakemake只要检测到该目录被创建，就会判定split规则执行完成，不会等待目录内所有分片文件写入结束，因此会提前触发下游的merge规则。

根据你的分片数是否可以提前确定，可选两种配置方式：

方案1：分片数固定时，显式声明所有分片文件 #

如果提前知道分片总数X，直接把所有分片文件作为split规则的输出，Snakemake会校验所有分片都生成完成后才会启动merge规则，示例代码如下：

# 提前定义分片总数，比如X=10
TOTAL_SHARDS = 10
SHARD_PATHS = [f"shard_output_folder/shard{i}.data" for i in range(1, TOTAL_SHARDS+1)]

rule split_data_in_shards_rule:
    input:
        "some.data"
    output:
        SHARD_PATHS
    shell:
        "python script.py {input}"

rule merge_output_of_previous_rule:
    input:
        SHARD_PATHS
    output:
        "merged.data"
    shell:
        "merge.py shard_output_folder > {output}"

方案2：分片数动态时，使用checkpoint机制 #

如果分片数是split脚本运行时才能确定（比如根据输入文件大小动态计算分片数），可以用Snakemake的checkpoint标记split规则，Snakemake会等该规则完全执行完成后，再解析下游merge规则的输入，示例代码如下：

# 将split规则标记为checkpoint
checkpoint split_data_in_shards_rule:
    input:
        "some.data"
    output:
        directory("shard_output_folder")
    shell:
        "python script.py {input}"

# 定义函数动态获取split生成的所有分片文件
def get_shard_files(wildcards):
    # 等待checkpoint执行完成后再读取目录下的所有分片
    shard_dir = checkpoints.split_data_in_shards_rule.get().output[0]
    return glob.glob(f"{shard_dir}/shard*.data")

rule merge_output_of_previous_rule:
    input:
        get_shard_files
    output:
        "merged.data"
    shell:
        "merge.py shard_output_folder > {output}"

内容的提问来源于stack exchange，提问作者Nicolas Goedert