如何正确终止SLURM作业？避免scancel导致假失败记录

以下是几种实用的处理方式，避免acct输出误报失败：

1. 让数据库作业优雅自行退出，替代scancel #

不要直接用scancel强制终止，而是在Snakemake主流程完成后，主动触发数据库的正常关闭流程：

• 启动数据库作业时，记录作业ID或数据库进程PID（写入临时文件即可）
• 在Snakemake的最终规则或run块中，读取记录的PID/作业ID，发送优雅终止信号（如kill -TERM <db_pid>），或调用数据库自带的关闭命令（比如PostgreSQL的pg_ctl stop）
• 等待数据库完全关闭后再结束流程，SLURM会识别为作业正常完成

2. 在数据库作业脚本中捕获终止信号，返回0退出码 #

修改启动数据库的SLURM作业脚本，捕获scancel发送的终止信号，执行优雅关闭后返回0退出码，让SLURM判定作业成功完成：

#!/bin/bash
# SLURM作业脚本：启动临时数据库

# 定义优雅关闭函数
cleanup() {
    echo "正在优雅关闭数据库..."
    # 替换为你的数据库关闭命令
    mongod --shutdown --dbpath /path/to/db/data
    exit 0  # 返回0标记作业成功
}

# 捕获scancel默认发送的SIGTERM和中断信号SIGINT
trap cleanup SIGTERM SIGINT

# 启动数据库（替换为你的启动命令）
mongod --dbpath /path/to/db/data --logpath db.log &

# 保持脚本运行，直到收到终止信号
wait

执行scancel <jobid>时，脚本会触发cleanup函数，正常关闭数据库后返回0，SLURM acct会标记为COMPLETED而非FAILED。

3. 修改SLURM作业状态（需对应权限） #

如果有权限，可在scancel后手动修改作业状态为完成：

scancel <db_job_id>
scontrol update jobid=<db_job_id> JobState=COMPLETED

注意：该方法会修改SLURM作业记录，仅适合确认作业确实正常终止的场景，避免大规模使用影响统计准确性。

4. 用Snakemake依赖管理数据库生命周期 #

将数据库作业设为Snakemake规则，让所有依赖数据库的任务都依赖该规则，待所有任务完成后自动关闭数据库：

rule start_db:
    output:
        touch("db_ready.txt")
    resources:
        cpu=8, mem=32000
    shell:
        """
        # 启动数据库并记录PID
        mongod --dbpath /path/to/db/data --logpath db.log &
        echo $! > db_pid.txt
        # 等待数据库启动就绪
        until mongosh --eval "db.adminCommand('ping')" >/dev/null 2>&1; do sleep 2; done
        touch {output}
        """

rule process_data:
    input:
        "db_ready.txt",
        "raw_data.txt"
    output:
        "processed_data.txt"
    shell:
        """
        # 依赖数据库的处理逻辑
        python process.py --db-host localhost
        """

rule stop_db:
    input:
        "processed_data.txt"
    shell:
        """
        # 正常关闭数据库
        kill -TERM $(cat db_pid.txt)
        wait $(cat db_pid.txt)
        rm db_pid.txt db_ready.txt
        """

Snakemake会在所有依赖数据库的任务完成后，自动执行stop_db规则，无需手动scancel。

内容的提问来源于stack exchange，提问作者zakmck