运行Snakemake时指定.snakemake临时文件路径,避免输入文件查找失败
问题:修改Snakemake临时文件目录但保留当前工作目录查找输入文件
我有一个包含Snakefile及各类输入文件的Snakemake工作流,希望完全按原有逻辑运行,但将.snakemake临时文件写入更适合的临时文件系统。尝试过--directory参数,但该参数会导致Snakemake无法找到基于当前工作目录的输入文件。希望保留当前工作目录用于查找输入文件,仅修改临时文件的写入位置,请问是否可行?
示例目录结构如下:
. ├── data │ ├── genome.fa │ ├── genome.fa.amb │ ├── genome.fa.ann │ ├── genome.fa.bwt │ ├── genome.fa.fai │ ├── genome.fa.pac │ ├── genome.fa.sa │ └── samples │ ├── A.fastq │ ├── B.fastq │ └── C.fastq ├── results │ └── mapped │ └── C.bam └── workflow ├── envs │ ├── mapping.yaml │ └── stats.yaml └── Snakefile
正常运行后.snakemake会生成在当前工作目录。若使用--directory ~/scratch/tmpsnake命令,则出现以下错误:
WorkflowError: MissingInputException: Missing input files for rule map_reads: output: results/mapped/A.sorted.bam wildcards: sample=A.sorted affected files: data/genome.fa data/samples/A.sorted.fastq
解决方案
可行,以下两种方法可以实现需求:
方法一:使用--snake-dir参数(Snakemake 7.0及以上版本)
直接指定.snakemake目录的存放路径,同时保持当前工作目录作为输入文件的查找基准。运行命令如下:
snakemake --snake-dir ~/scratch/tmpsnake --snakefile workflow/Snakefile
该参数会将.snakemake目录创建在指定位置,工作流仍以当前目录解析相对路径,不会影响输入文件的查找。
方法二:设置环境变量SNAKEMAKE_DIR(适用于所有版本)
通过环境变量指定.snakemake的存储位置,无需修改工作目录:
export SNAKEMAKE_DIR=~/scratch/tmpsnake snakemake --snakefile workflow/Snakefile
运行后,Snakemake的临时缓存、日志等文件都会写入指定的SNAKEMAKE_DIR路径,输入文件的查找逻辑保持不变。
注意:避免使用--directory参数,该参数会让Snakemake切换到指定目录作为工作目录,所有相对路径(包括输入文件)都会基于此目录解析,这正是你遇到输入文件缺失错误的原因。
内容的提问来源于stack exchange,提问作者Migwell
相关产品推荐
相关产品推荐

