如何通过Slurm在同一节点并行运行多实例Snakemake规则？

我在HPC集群上运行Snakemake流水线时，节点申请是流程瓶颈——多数步骤仅用1线程，导致已分配节点的核心没法充分利用。

现有流水线与执行情况 #

原始Snakefile代码：

import numpy as np

reps = np.arange(5)
targets = expand("out/{i}.txt", i=reps)

rule all:
    input:
        targets


rule sleep:
    output:
        "out/{i}.txt"
    resources:
        threads=1,
        mem_mb=1000,
        runtime=5
    shell:
        "sleep 30 && touch {output}"

执行命令：

snakemake --executor slurm -j 5 --resources threads=5 --set-resources sleep:slurm_partition=devel

按配置预期是能同时用5个节点、每个节点申请5线程，每个规则实例占1线程，但实际Snakemake申请了5个节点，每个节点只跑1个规则实例，完全没利用节点的多核心。

尝试的解决方案：作业分组 #

我给规则加上了group属性，修改后的规则：

rule sleep:
    output:
        "out/{i}.txt"
    resources:
        threads=1,
        mem_mb=1000,
        runtime=10
    group: "sleep"
    shell:
        "sleep 30 && touch {output}"

加上--group-components sleep=5参数后，实现了单节点并行跑5个该规则实例，达到了预期效果，但有两个疑问：

1. 作业分组是不是最优方案？根据Snakemake文档，作业分组原本是用来把短运行的下游作业附加到长运行的上游作业上的，有没有更直接的方式实现集群上同一规则多实例的并行（比如类似rule_instances_per_node=N的配置）？
2. 怎么在Snakefile里获取命令行--group-components参数的值？或者有没有办法直接在Snakefile里定义组的组件数量？

解答 #

疑问1：是否有更基础的替代方案？ #

作业分组确实不是专门为“同一规则多实例挤在单节点”设计的，但它是当前Snakemake官方支持的、能实现该需求的最便捷方案之一。除此之外，还有两种可选思路：

• 调整资源请求与--jobs参数的配合：
  给规则设置threads=5，然后把-j设为1，这样Snakemake会申请1个5线程的节点，再在节点内用自身并行机制跑5个实例。但这种方式的问题是，规则的threads被固定死，没法灵活适配不同节点的核心数；而且如果规则本身只能单线程运行，会造成资源浪费（每个实例只用1线程，但节点申请了5线程）。

• 自定义Slurm脚本模板：
  编写自定义Slurm提交脚本模板，在模板里用循环启动多个规则实例，再通过--cluster参数指定这个模板。但这种方式需要自己处理作业依赖、日志和错误，复杂度很高，远不如作业分组省心。

综合来看，作业分组虽然“本职”不是干这个的，但在你的场景下是最优解——既不用修改规则核心逻辑，又能灵活控制单节点实例数，还能利用Snakemake自身的调度机制。

疑问2：在Snakefile中获取或定义组组件数量？ #

目前Snakemake没有直接提供在Snakefile中读取--group-components参数的方法，但有两种替代方式：

• 用配置文件传递参数：
  在config.yaml里定义group_components: {sleep: 5}，然后在Snakefile里用config["group_components"]["sleep"]获取值，同时可以通过命令行--config group_components.sleep=5覆盖配置文件的值。不过--group-components还是需要在命令行传递，或者你可以用脚本动态修改Snakefile，但不太推荐。

• 用--config参数传递，结合规则逻辑：
  命令行执行--config sleep_group_size=5，然后在Snakefile里：

  group_size = config.get("sleep_group_size", 5)
  

  虽然不能直接用这个值设置--group-components，但可以根据它生成对应的规则逻辑，或者在shell命令里用循环实现（不过这种方式绕开了Snakemake的分组机制，不如直接用--group-components方便）。

另外，如果你不想每次手动输入--group-components，可以把它写到Snakemake的全局配置文件（比如~/.config/snakemake/config.yaml）里，或者写一个bash脚本封装执行命令，简化操作。

内容的提问来源于stack exchange，提问作者TymekPieszko