如何记录Snakemake流程中脚本运行产生的错误信息

日志为空、拿不到完整报错是多个配置错误叠加导致的：

• 定义的log参数仅用于给Snakemake声明日志文件路径，不会自动捕获shell命令的输出流，必须手动在shell命令中做重定向才能把标准输出、标准错误写入对应文件，这是日志为空的最主要原因。
• 通配符存在多处拼写不一致：输入块用大写开头的{Wildcard}，输出块写的是小写开头{wildcard}，错误日志路径里还多写了一个d变成{Wildcardd}，通配符匹配失败本身就会导致路径异常。
• shell命令里的参数没有加空格分隔：{input}{output}连写会把输入、输出两个路径拼成一个无间隔的字符串传给Python脚本，脚本读参阶段就会触发错误。
• 直接用python调用脚本时，默认开启的输出缓冲会导致进程异常退出时，还没来得及写入流的报错信息被丢弃，就算重定向也拿不到完整的错误栈。

rule do_X:
    input:
        "{sample}_a"
    output:
        "{sample}_b"
    log:
        out = "{sample}_stdout.log",
        err = "{sample}_stderr.err"
    shell:
        """
        python -u x.py {input} {output} \
        1> {log.out} \
        2> {log.err}
        """

改动点说明：

• 统一通配符命名为{sample}（可替换为任意习惯名称，只要同规则内所有通配符拼写完全一致，不要出现大小写差异、多字少字），从根源避免通配符解析错误。
• 调用Python时加-u参数，关闭标准输出、标准错误的缓冲，进程异常终止时所有报错信息会立刻写入文件，不会因为缓冲未刷新丢失内容。
• 显式做流重定向：1>将标准输出写入log.out，2>将标准错误（即Python报错的traceback信息）写入log.err，这一步是让log参数生效的必要操作。
• 传入脚本的{input}和{output}参数之间加空格分隔，避免路径拼接错误导致脚本读参失败。

如果不想给每个规则单独写重定向，可以在启动Snakemake时直接加参数做全局输出捕获：

snakemake --cores 计划使用的线程数 --printshellcmds --verbose 2>&1 | tee full_pipeline.log

• --printshellcmds会在终端打印所有实际执行的shell命令，方便定位出问题的具体指令
• --verbose会输出完整的运行时上下文，不会截断显示报错末尾片段
• 整个流程的所有输出、报错都会完整存入full_pipeline.log，哪怕单个规则的日志配置有问题，也能从全局日志里找到完整错误信息

• 如果用Snakemake内置的script:指令调用Python脚本（而不是在shell:块里手写python命令），Snakemake会自动捕获脚本的输出到定义的log路径，不需要手动写重定向，但要注意不要在Python脚本内部自行做输出重定向。
• 不要在shell命令末尾加&把进程放后台运行，否则Snakemake无法捕获进程的退出状态和输出流，会出现日志为空、错误状态判断异常的问题。

内容的提问来源于stack exchange，提问作者Georg B