如何在Snakemake中结合--keep-going获取成功任务的运行统计？

我完全懂你的痛点——用--keep-going让Snakemake在部分任务崩了之后还能继续跑其他独立任务，但只要有一个任务失败，--stats就死活不生成完整统计文件，哪怕99个任务都成功了也拿不到数据，这确实挺闹心的。下面给你几个实用的解决方案：

方案1：利用Snakemake的临时统计文件 #

其实Snakemake在运行过程中会悄悄生成临时统计文件，只是默认跑完就丢了。你可以通过设置环境变量指定临时文件的保存路径，这样哪怕流程最终失败，这个临时文件里也会记录下所有已经成功完成的任务的统计数据。

操作步骤很简单：

1. 先设置环境变量：

   export SNAKEMAKE_STATS_TMPFILE=/your/path/temp_stats.json
   

2. 然后正常运行你的Snakemake命令（带上--keep-going和--stats参数）：

   snakemake --keep-going --stats /your/path/final_stats.json [你的其他参数]
   

3. 流程失败后，直接去看/your/path/temp_stats.json就行，里面就是所有成功任务的统计，格式和最终的stats文件完全一致。

方案2：自定义钩子实时收集统计 #

如果临时文件的方式不够灵活，你可以给每个规则加个on_success钩子，让任务一成功就把统计数据写入文件。这种方式能实时收集，完全不受后续任务失败的影响。

举个实际例子：

1. 先写个简单的Python脚本record_task_stats.py，用来接收统计数据并追加到文件：

   import json
   import sys
   
   # 读取Snakemake输出的统计数据
   task_stats = json.load(sys.stdin)
   # 追加到JSON Lines格式的文件里
   with open("successful_task_stats.jsonl", "a") as f:
       json.dump(task_stats, f)
       f.write("\n")
   

2. 然后在你的Snakefile里，给需要统计的规则加上on_success：

   rule process_data:
       input: "raw_data.txt"
       output: "processed_data.txt"
       shell: "your_processing_command {input} > {output}"
       on_success:
           """
           # 用--stats -让Snakemake输出当前规则的统计到标准输出，再传给脚本
           snakemake --rule {rule} --stats - | python record_task_stats.py
           """
   

这样每个任务成功完成后，它的统计数据就会被写入successful_task_stats.jsonl，不管后面有没有任务失败，这些数据都稳稳存在。

方案3：事后重新生成成功任务的统计 #

如果流程已经失败了，你也可以事后补统计。步骤如下：

1. 先列出所有成功完成的任务：

   snakemake --list-successful > successful_rules.txt
   

2. 然后针对这些成功任务，强制重新运行并生成统计：

   snakemake --stats /your/path/successful_only_stats.json --forcerun $(cat successful_rules.txt)
   

⚠️ 注意：这个方法要求你的规则是幂等的——也就是重复执行不会改变结果或者产生副作用。如果你的规则涉及到写入不可恢复的中间状态，可能就不适合用这个方法了。

小提醒 #

• 临时统计文件的格式和--stats生成的最终文件完全一样，所以你可以用同样的工具去分析它（比如用Python读取JSON做可视化）。
• 自定义钩子的方式虽然要写点额外代码，但灵活性最高，你还可以在脚本里加一些自定义的元信息（比如任务运行的时间戳、主机名之类的）。

内容的提问来源于stack exchange，提问作者anilbey