Slurm提交Snakemake作业失败：参数/路径过长问题排查

问题原因 #

你的规则中input.tsv展开为630k个文件，Snakemake生成Slurm作业脚本时，会将所有输入文件路径写入脚本头部的注释区域，导致脚本体积过大，触发Slurm的路径/参数长度限制，报错Pathname of a file, directory or other parameter too long。而你的R脚本并不需要这些文件作为命令行参数，仅通过内部逻辑读取，因此核心需求是让Snakemake完成依赖检查，但不传递超长文件列表给Slurm。

可行解决方法 #

方法1：自定义作业脚本模板，移除输入文件列表 #

Snakemake默认作业脚本会包含所有输入文件的注释，直接去掉这部分即可解决长度问题：

1. 创建自定义作业脚本模板jobscript_template.sh：

   #!/bin/bash
   # properties = {properties}
   
   {exec_job}
   

2. 运行Snakemake时指定模板：

   snakemake --cluster "sbatch --partition=standard --mem=2000M --time=120" --jobscript jobscript_template.sh
   

   此方法最简单，无需修改规则，仅调整提交命令。

方法2：将输入依赖改为目录而非单个文件 #

所有目标文件都在data/sim_a/目录下，直接依赖目录替代单个文件列表：

rule simA_pool_clusters:
  input:
    R="workflow/scripts/simA_pool_clusters.R",
    tsv_dir=directory("data/sim_a/")  # 依赖整个目录
  conda:
    "envs/nr-modern.yml"
  output:
    "data/simulation_cluster_accuracy.tsv"
  shell:
    """
    {input.R}
    """

注意：若这些*.clusters.tsv由其他Snakemake规则生成，需在生成规则末尾添加touch {output.dir}更新目录修改时间，确保Snakemake能正确触发当前规则。

方法3：用Checkpoint动态获取文件列表 #

通过Checkpoint在运行时动态收集文件，避免静态展开超长列表写入作业脚本：

# 定义Checkpoint，用于触发目录文件检查
checkpoint collect_tsv_files:
  output:
    directory("data/sim_a/")
  shell:
    """
    true  # 无需实际操作，仅触发目录检查
    """

# 动态获取Checkpoint输出目录下的所有目标文件
def get_tsv_files(wildcards):
    checkpoint_dir = checkpoints.collect_tsv_files.get_output()
    return expand(os.path.join(checkpoint_dir, "{frac}_{depth}_{rep}.{preproc}.{transform}.{distance}.clusters.tsv"),
                  frac=fracs, depth=depths, rep=reps, preproc=preprocs,
                  transform=transforms, distance=distances)

rule simA_pool_clusters:
  input:
    R="workflow/scripts/simA_pool_clusters.R",
    tsv=get_tsv_files  # 动态依赖文件列表
  conda:
    "envs/nr-modern.yml"
  output:
    "data/simulation_cluster_accuracy.tsv"
  shell:
    """
    {input.R}
    """

此方法既保留了Snakemake对所有文件的依赖检查，又不会在作业脚本中写入超长文件列表。

方法4：生成文件列表文本，依赖单个文件 #

先生成包含所有目标文件路径的文本文件，当前规则仅依赖该文本文件：

# 生成文件列表文本
rule generate_tsv_list:
  output:
    "data/sim_a/tsv_list.txt"
  shell:
    """
    ls data/sim_a/*.clusters.tsv > {output}
    """

rule simA_pool_clusters:
  input:
    R="workflow/scripts/simA_pool_clusters.R",
    tsv_list="data/sim_a/tsv_list.txt",
    # 可选：保留文件依赖检查，确保所有文件存在（若不需要可删除此行）
    tsv=expand("data/sim_a/{frac}_{depth}_{rep}.{preproc}.{transform}.{distance}.clusters.tsv",
               frac=fracs, depth=depths, rep=reps, preproc=preprocs,
               transform=transforms, distance=distances)
  conda:
    "envs/nr-modern.yml"
  output:
    "data/simulation_cluster_accuracy.tsv"
  shell:
    """
    {input.R}
    """

若保留input.tsv的依赖，仍需结合方法1的自定义作业模板避免超长列表写入脚本；若仅依赖tsv_list.txt，则无需额外调整。

内容的提问来源于stack exchange，提问作者PD Schloss