Snakemake提交Slurm任务的自动内存分配规则及最佳实践咨询

背景 #

之前使用纯Slurm的sbatch脚本时，会直接添加#SBATCH --mem=5G这类语句指定内存上限。现在通过Snakemake结合Slurm运行任务，执行命令为：

snakemake --configfile config.yaml --snakefile test.smk --profile simple/.

我的Slurm Profile配置 #

cluster:
  mkdir -p logs &&
  sbatch
    --partition={resources.partition}
    --cpus-per-task={threads}
    --gpus={resources.gpus}
    --mem={resources.mem_mb}
    --time={resources.runtime}
    --job-name={rule}
    --output=logs/{rule}.out
    --error=logs/{rule}.err
    --parsable 

default-resources:
  - partition=batch
  - runtime=10 
  - nodes=1 

slurm: True 

遇到的问题 #

多数规则我都使用默认资源配置，但当规则的输入文件较大（或同时导入多个大文件）时，总会出现slurm submission failed, cannot satisfy memory specification的启动错误，导致任务无法运行。

比如下面这个仅创建软链接的规则，明明完全不需要大内存，但不手动指定mem_mb就无法执行：

for plevel in plevels:
# PURPOSE: Link the previously generated ec.bin files to speed up hic runs.
    rule:
        name: f"run_link_bin_{plevel}"
        input:
            hifiasm_bin=expand("{output_directory}/hifi/hifiasm/{species_lower}.ec.bin", output_directory=config["output_directory"], species_lower=config["species_lower"]), 
            hifiasm_bin_reverse=expand("{output_directory}/hifi/hifiasm/{species_lower}.ovlp.reverse.bin", output_directory=config["output_directory"], species_lower=config["species_lower"]),
            hifiasm_bin_source=expand("{output_directory}/hifi/hifiasm/{species_lower}.ovlp.source.bin", output_directory=config["output_directory"], species_lower=config["species_lower"]), 
        output:
            ln_hifiasm_bin=expand("{output_directory}/hic/hifiasm/purge_level_{plevel}/{species_lower}.ec.bin", output_directory=config["output_directory"], species_lower=config["species_lower"], plevel=plevel), 
            ln_hifiasm_bin_reverse=expand("{output_directory}/hic/hifiasm/purge_level_{plevel}/{species_lower}.ovlp.reverse.bin", output_directory=config["output_directory"], species_lower=config["species_lower"], plevel=plevel),
            ln_hifiasm_bin_source=expand("{output_directory}/hic/hifiasm/purge_level_{plevel}/{species_lower}.ovlp.source.bin", output_directory=config["output_directory"], species_lower=config["species_lower"], plevel=plevel),         
        message: "Message: Link the previously generated ec.bin files to sped up re-run."
        resources:
            slurm_partition=bigmem, 
            mem_mb=1000000, # pointless here, but snakemake sees the large input size and wants more memory
        shell:
            """
            ln -s {input.hifiasm_bin} {output.ln_hifiasm_bin}
            ln -s {input.hifiasm_bin_reverse} {output.ln_hifiasm_bin_reverse}
            ln -s {input.hifiasm_bin_source} {output.ln_hifiasm_bin_source}
            """

疑问 #

1. 当规则未设置mem_mb参数时，Snakemake会自动向Slurm请求多少内存？
2. 这个自动请求的内存是否和输入文件大小有关？
3. 这种场景下的最佳实践是什么？

问题解答 #

1. 自动请求的内存值：
   如果既没在规则里指定mem_mb，也没在default-resources中配置该参数，Snakemake会启用自动资源推断功能。它默认会以输入文件总大小为基础估算内存需求，一般是输入总大小的1.5倍左右（具体倍数可能随版本略有调整），这就是大输入文件任务触发Slurm调度失败的原因。

2. 和输入文件大小的关系：
   完全相关。Snakemake的自动推断逻辑默认假设任务需要把所有输入文件加载到内存中处理，但像软链接这类不需要读取文件内容的任务，这个推断逻辑完全不适用。

3. 最佳实践：

   • 配置全局默认内存：在default-resources里添加一个合理的基础内存值，比如mem_mb=4096（4G），覆盖自动推断的默认行为，避免无内存配置的规则跟着输入文件大小盲目申请内存：

     default-resources:
       - partition=batch
       - runtime=10 
       - nodes=1
       - mem_mb=4096
     

   • 针对性配置规则内存：对确实需要大内存的任务（如基因组组装、大文件排序）单独指定mem_mb；对软链接、文件复制这类轻量任务，设置极小的内存值（如mem_mb=1024），明确禁止自动推断。
   • 关闭自动推断（可选）：运行Snakemake时添加--no-auto-resources参数，让所有规则严格使用配置的默认资源或规则内指定的资源，不再根据输入文件大小调整内存需求。

内容的提问来源于stack exchange，提问作者Laura