如何在Snakemake中基于输入文件数量实现动态规则优先级？

当然可以！基于输入文件数量来定义合并规则的优先级完全可行，而且是优化这类工作流的常用思路。下面分两种场景给你具体的实现方案：

一、脚本层面的基础实现（适合简单工作流） #

如果你的工作流是用Shell脚本串联的，直接通过统计指定后缀的文件数量，就能分支执行不同的合并逻辑：

# 准确统计当前目录下指定后缀的文件数量（排除隐藏文件）
FILE_COUNT=$(find . -maxdepth 1 -type f -name "*.txt" | wc -l)

if [ $FILE_COUNT -eq 1 ]; then
  # 单个文件时，本地直接完成合并（这里其实就是复用原文件，或复制重命名）
  cp $(find . -maxdepth 1 -type f -name "*.txt") merged_output.txt
  echo "✅ 本地完成单文件合并"
elif [ $FILE_COUNT -gt 1 ]; then
  # 多个文件时，提交到集群执行合并任务（示例用Slurm的sbatch命令）
  sbatch --job-name merge_task --mem 10G --time 24:00:00 cluster_merge.sh
  echo "🚀 已提交集群合并任务，预计耗时数小时，请关注任务状态"
else
  echo "❌ 未找到对应后缀的输入文件"
fi

注意：统计文件数量时用find比ls更可靠，能避免因文件名含特殊字符导致的统计错误。

二、专业工作流工具的进阶实现（适合复杂流水线） #

如果你的工作流是用Snakemake、Nextflow这类专业工具管理的，可以直接在规则/进程中设置条件判断，让工具自动根据文件数量选择执行逻辑：

Snakemake 示例 #

# 先定义所有输入样本
SAMPLES = ["sample1", "sample2", "sample3"]

rule merge_files:
    input:
        files = expand("data/{sample}.txt", sample=SAMPLES)
    output:
        "merged/merged_output.txt"
    run:
        file_count = len(input.files)
        if file_count == 1:
            # 单个文件，本地快速处理
            shell("cp {input.files} {output}")
        elif file_count > 1:
            # 多个文件，提交到集群并指定资源
            shell("sbatch --mem 10G --time 24:00:00 cluster_merge.sh {input.files} {output}")

Nextflow 示例 #

Nextflow可以通过两个独立的process加when条件，实现规则优先级：

// 单个文件时，本地执行
process mergeLocal {
    input:
        path files
    output:
        path 'merged_output.txt'
    when: files.size() == 1
    script:
        """
        cp $files merged_output.txt
        """
}

// 多个文件时，集群执行
process mergeCluster {
    input:
        path files
    output:
        path 'merged_output.txt'
    when: files.size() > 1
    executor: 'slurm'  // 指定集群调度器
    memory: '10 GB'
    time: '24h'
    script:
        """
        cat $files > merged_output.txt
        """
}

// 工作流入口
workflow {
    files = Channel.fromPath("data/*.txt")
    mergeLocal(files)
    mergeCluster(files)
}

这类工具会自动根据when条件判断执行哪个进程，完全不需要手动干预。

额外注意事项 #

• 集群任务要配置好日志输出路径，方便后续排查问题
• 如果输入文件分布在不同目录，统计时要调整find的路径参数
• 若工作流有上游依赖，确保合并步骤的触发条件和上游输出正确关联

内容的提问来源于stack exchange，提问作者init_js