Snakemake集群提交后规则立即失败无报错且持续运行问题排查

1. Slurm Profile配置漏洞 #

• 检查profile的jobscript模板：必须有正确的#!/bin/bash开头，且#SBATCH指令要包含--output和--error参数，缺少这俩的话，任务失败不会生成日志文件，甚至可能被Slurm直接拒接。
• 核对cluster-config里的资源映射：如果规则要求的内存/CPU超过集群队列限制，Slurm会直接驳回任务，不会给Snakemake返回明确报错。
• 检查use-conda设置：要是开启了conda但环境没在集群节点上构建完成，任务启动时找不到依赖会直接崩溃，且无输出。

2. Python脚本的环境与路径问题 #

• 手动运行用的是本地环境，Slurm节点上的Python可能缺少脚本依赖的库（比如pysam、numpy），直接导致脚本启动即挂。要么在规则里用conda:指定专属环境，要么在jobscript里显式加载对应模块（比如module load python/3.9）。
• 脚本里的路径是否为相对路径？手动运行时在项目目录下没问题，但Slurm任务的工作目录可能不是项目根目录，找不到输入文件会直接崩溃，没日志的话根本看不到原因。

3. Snakemake规则定义错误 #

• 检查input/output路径：如果输入文件不存在或路径写错，脚本直接失败，但没Slurm日志的话看不到错误。
• 核对threads/resources：规则指定的线程数/资源，有没有在profile里正确传递给Slurm？比如规则要8线程，但profile没把这个参数传给Slurm，资源分配错误会直接被拒。

4. Slurm集群的权限与资源问题 #

• 检查账号队列权限：用squeue -u 你的账号查看任务状态，要是队列没权限或者队列暂停，Slurm直接拒接任务，Snakemake只会显示任务一直pending后失败。可以直接用sbatch提交测试脚本（比如输出hello world）到同一队列，验证能否正常运行。
• 检查磁盘配额：输出目录如果满了，脚本无法写入文件会直接崩溃，也不会有报错信息。

快速调试技巧 #

• 绕开Snakemake，直接用sbatch提交包含Python脚本调用的测试脚本，使用和profile相同的Slurm参数，看能否正常运行并生成日志，快速定位是Snakemake的问题还是Slurm/脚本的问题。
• Snakemake运行时添加--verbose或--debug参数，查看主进程日志，里面可能有Slurm任务提交的细节错误。
• 修改Slurm profile的jobscript模板，强制指定日志路径：

  #SBATCH --output={log}/%x_%j.out
  #SBATCH --error={log}/%x_%j.err
  

  先确保log目录存在，这样不管任务成功失败都能看到日志。

内容的提问来源于stack exchange，提问作者Erkin Alacamli