Snakemake中resources指令与命令行指定内存的差异及优先级问题

一、两种内存指定方式的区别 #

1. 用Snakemake的resources指令定义内存 #

rule spades:
    input:
        rules.aRule.output
    output:
        "{sample}/spades/contigs.fasta"
    resources:
        mem_mb = 112000
    shell:
        "spades {input} {output}"

2. 直接通过程序命令行参数指定内存（结合Snakemake的params） #

rule spades_mem:
    input:
        rules.aRule.output
    output:
        "{sample}/spades/contigs.fasta"
    params:
        mem_spades = 112000
    shell:
        "spades -m {params.mem_spades} {input} {output}"

两者核心区别如下：

• 作用对象完全不同：resources里的mem_mb是给Snakemake调度器用的，用来判断当前环境（本地或集群）能同时启动多少个这个规则的任务，防止内存过载；而命令行参数是直接传给spades程序本身，告诉程序它最多能使用多少内存。
• 生效逻辑不一样：resources的设置不会直接限制程序的实际内存使用，只是Snakemake做任务调度的参考；命令行参数才是程序实际执行时会遵守的内存上限。
• 灵活性有差异：resources可以配合Snakemake的全局资源限制（比如--resources命令行参数）、集群模式的资源申请功能，实现动态调整任务并发数；而命令行参数是固定传递给程序的，要改只能修改params或者shell命令里的参数。

二、同时设置时的优先级 #

如果同时用两种方式指定内存（不推荐这么做，容易混淆）：

rule spades_both:
    input:
        rules.aRule.output
    output:
        "{sample}/spades/contigs.fasta"
    params:
        mem_spades = 112000
    resources:
        mem_mb = 112000
    shell:
        "spades -m {params.mem_spades} {input} {output}"

此时程序实际会遵循命令行参数指定的内存，也就是params里的mem_spades值。resources中的mem_mb依然只负责给Snakemake调度器提供参考，不会影响程序本身的内存使用限制。

内容的提问来源于stack exchange，提问作者BCArg