如何将辅助Snakemake工作流嵌入主工作流结构

方案选择优先级 #

• 优先选择优化版resources/auxiliary_workflows/存储方案：如果你的团队规模较小、辅助工作流仅服务于当前V-pipe主工作流、和主工作流版本同步要求高，该方案是最优解。你可以通过两个小优化解决原方案部署复杂的问题：
  • 给每个辅助工作流单独编写snakedeploy兼容的配置模板
  • 在项目根目录新增一键部署脚本aux_deploy.sh，封装辅助工作流的依赖拉取、配置初始化逻辑，优化后部署成本和独立仓库方案基本持平
    该方案既能实现所有工作流在单一代码库统一维护，不会和主工作流代码耦合，也不会抬高主工作流复杂度，完全适配V-pipe主工作流负责测序数据处理、辅助工作流负责下载、基准测试的功能划分。
• 次选独立模块封装方案：如果你的Snakemake版本支持模块功能，可以将所有辅助工作流封装为独立模块，存放在workflow/modules/auxiliary/目录下，既可以实现单仓库统一维护，也可以被snakedeploy直接识别，不需要额外适配部署逻辑，完美平衡三个原始方案的优缺点。
• 仅在特定场景选择另外两个原始方案：
  • 若辅助工作流是通用功能、需要被多个不同主工作流复用，才选择独立外部git仓库存储方案，避免多仓库维护的额外成本
  • 若辅助工作流和主工作流输入输出绑定极强、属于主工作流发布前必须执行的校验流程，才选择直接集成到主工作流的方案，且需要将辅助工作流的规则单独存放在workflow/rules/auxiliary/子目录，默认不加载到主工作流执行路径，避免抬高主工作流复杂度

内容的提问来源于stack exchange，提问作者kpj