集群模式下如何精准区分Snakemake的各类节点故障？

我完全懂这个痛点！在集群上用Snakemake跑复杂流程的时候，最闹心的就是明明SLURM能精准告诉你作业失败的原因——是内存爆了、超时了、节点临时挂了，还是程序本身写错了，但Snakemake愣是把所有失败都揉成同一类，没法针对性地调整重试时的资源配置。

问题的核心矛盾 #

SLURM本身其实已经通过退出状态码和调度日志暴露了不同的故障类型：

• 程序自身逻辑错误：常规非0退出码（比如1）
• 内存不足（OOM）：退出码137（被SIGKILL强制终止）
• 作业超时：退出码124（收到SIGTERM后未及时退出）
• 临时节点故障：通常伴随SLURM的调度告警，或集群自定义的退出标记

但Snakemake当前的重试机制与SLURM的接口设计，并没有把这些细粒度的故障类型传递出来——不管是哪种失败，Snakemake只会收到“作业失败”的信号，然后机械地触发重试（如果设置了--restart-times），完全没法根据故障原因调整资源：比如OOM就加内存，超时就加时间，节点故障直接重试不用改资源，程序报错干脆别浪费资源重试。

临时可行的 Hack 方案 #

如果想立刻实现这个功能，可以自己写一个自定义SLURM提交脚本，配合Snakemake的动态资源函数来实现：

1. 编写SLURM提交脚本（比如slurm-custom-submit.sh），在脚本末尾捕获作业的退出状态码，判断故障类型并写入临时文件：

#!/bin/bash
# 常规SLURM提交参数
#SBATCH --job-name={job_name}
#SBATCH --mem={resources.mem}
#SBATCH --time={resources.time}

# 执行作业命令
srun {exec_job}

# 捕获退出码
EXIT_CODE=$?

# 判断故障类型并写入临时文件
if [ $EXIT_CODE -eq 137 ]; then
    echo "OOM" > {wildcards.sample}_failure_type.txt
elif [ $EXIT_CODE -eq 124 ]; then
    echo "TIMEOUT" > {wildcards.sample}_failure_type.txt
elif [ $EXIT_CODE -gt 128 ]; then
    # 信号终止，大概率是节点故障
    echo "NODE_FAILURE" > {wildcards.sample}_failure_type.txt
else
    echo "PROGRAM_ERROR" > {wildcards.sample}_failure_type.txt
fi

exit $EXIT_CODE

2. 在Snakemake规则中定义动态资源函数，读取临时文件判断故障类型，调整资源：

def adjust_memory(wildcards, attempt):
    # 首次尝试用默认资源
    if attempt == 1:
        return "10G"
    # 重试时读取故障类型
    try:
        with open(f"{wildcards.sample}_failure_type.txt") as f:
            failure_type = f.read().strip()
        if failure_type == "OOM":
            # 内存翻倍
            return "20G"
        elif failure_type == "TIMEOUT":
            # 超时情况下适度加内存
            return "15G"
        else:
            # 节点故障或程序错误，沿用原资源
            return "10G"
    except FileNotFoundError:
        # 没找到故障文件， fallback 到默认资源
        return "10G"

3. 在规则中调用这个动态资源：

rule process_sample:
    input: "raw/{sample}.fastq"
    output: "processed/{sample}.bam"
    resources:
        mem=adjust_memory,
        time="24:00:00"
    shell: "align.sh {input} {output}"

注意：这个方案需要处理临时文件的清理、wildcard参数的传递等细节，虽然有点繁琐，但能解决燃眉之急。

长期解决方案 #

目前Snakemake官方还没有原生支持SLURM故障类型的区分，如果你有精力，可以去Snakemake的GitHub仓库提交Feature Request，或者参与社区讨论，推动官方把SLURM的故障状态码传递给重试逻辑，这样就能更优雅地实现动态资源调整了。

内容的提问来源于stack exchange，提问作者init_js