如何在Snakemake的PBS TORQUE集群中按{file}通配符自定义日志命名？

针对你在PBS TORQUE集群上用Snakemake管理多文件任务时的日志自定义需求，这里有几个经过验证的实用方案，帮你优雅区分每个{file}对应的日志，同时避开DAG构建死循环的坑：

方案一：直接用--cluster参数指定带通配符的日志路径（最快捷） #

这是最直接的方式，不需要修改Snakefile，运行时通过--cluster参数给qsub指定日志路径，利用{wildcards.file}区分不同文件的日志：

# 把每个文件的stdout/stderr分别存到logs目录下的独立文件
snakemake --jobs 10 --cluster "qsub -o logs/{wildcards.file}_stdout.log -e logs/{wildcards.file}_stderr.log"

如果想给每个文件单独建日志子目录，让结构更清晰，可以这么写：

# 每个文件的日志放在专属子目录里
snakemake --jobs 10 --cluster "qsub -o logs/{wildcards.file}/stdout.log -e logs/{wildcards.file}/stderr.log"

⚠️ 注意：这种方式需要提前创建好对应的日志子目录，或者在Snakefile里加一个自动创建目录的规则，避免qsub因为目录不存在报错。

方案二：在Snakefile规则中定义log字段（更集成化） #

之前你遇到指定日志目录导致DAG死循环的问题，核心原因是：Snakemake会把log: dir = ...中的目录视为需要追踪的输出目录，当目录路径包含通配符时，它会不断尝试扩展通配符构建DAG，最终陷入死循环。

正确的做法是指定具体的日志文件路径，而非目录。比如：

rule execute:
    input:
        os.path.join(config['DATADIR'], "{file}", "{file}.txt")
    output:
        os.path.join(config['DATADIR'], "{file}", "{file}.output")
    # 为每个文件指定独立的stdout/stderr日志文件
    log:
        stdout = os.path.join(config['DATADIR'], "{file}", "stdout.log"),
        stderr = os.path.join(config['DATADIR'], "{file}", "stderr.log")
    params:
        log_dir = os.path.join(config['DATADIR'], "{file}")
    shell:
        """
        # 提前创建日志目录，避免写入失败
        mkdir -p {params.log_dir}
        # 执行任务并将输出定向到日志文件
        your_task_command > {log.stdout} 2> {log.stderr}
        """

这样每个{file}的日志会存在对应的子目录下，同时不会触发DAG死循环，因为我们指定的是具体的文件而非目录。

方案三：用Snakemake Profile实现长期复用（最规范） #

如果你的项目需要长期维护或者团队共享，推荐用Snakemake Profile来统一配置集群参数，包括日志路径：

1. 在~/.config/snakemake/下创建一个pbs目录，里面新建config.yaml文件：

# ~/.config/snakemake/pbs/config.yaml
cluster: "qsub -o logs/{wildcards.file}/stdout.log -e logs/{wildcards.file}/stderr.log"
jobs: 10
# 可以添加其他PBS默认资源参数
default-resources:
  - nodes=1:ppn=2
  - walltime=24:00:00

2. 之后运行Snakemake时，只用指定profile即可：

snakemake --profile pbs

这种方式避免了每次运行都重复输入冗长的--cluster参数，配置更规范，也方便团队成员统一使用。

额外注意事项 #

• 不管用哪种方案，确保日志目录存在：要么手动提前创建，要么在规则中用mkdir -p自动生成。
• 如果想保留Snakemake默认的日志命名风格（比如snakejob.{rulename}.{id}.sh.o<编号>）同时区分文件，可以在--cluster参数里结合多个变量：

  snakemake --jobs 10 --cluster "qsub -o logs/{wildcards.file}/snakejob.{rule}.{wildcards.file}.sh.o\$PBS_JOBID -e logs/{wildcards.file}/snakejob.{rule}.{wildcards.file}.sh.e\$PBS_JOBID"
  

  这样日志文件名既有规则名、文件名，又保留了PBS任务ID，方便后续排查问题。
• 修改Snakemake临时脚本命名的需求其实没必要，因为我们已经通过{wildcards.file}实现了日志的区分，额外修改临时脚本只会增加复杂度。

内容的提问来源于stack exchange，提问作者enryh