Snakemake中Conda环境下pip安装本地包的相对路径解析问题

问题核心 #

你需要在Snakemake规则的Conda环境中，用相对路径以可编辑模式安装workflow/src下的本地包，同时保证可移植性——绝对路径虽能工作，但换机器或目录就会失效。

为什么之前的相对路径会失败？ #

Snakemake构建Conda环境的路径逻辑是关键：

• Snakemake会把你的python_env.yaml复制到一个临时构建目录（比如.snakemake/conda/<随机哈希>/）
• 所有conda、pip的安装命令都在这个临时目录下执行
• 你之前写的../src、./src都是相对于这个临时目录，而临时目录里根本没有对应的src文件夹，所以pip会报错“不是有效的可编辑依赖”。

最佳解决方案 #

方案1：在env.yaml中使用环境变量指定路径 #

修改workflow/envs/python_env.yaml，利用shell环境变量${PWD}（代表你执行snakemake时的根目录）来指定包的路径：

name: python_env
channels:
  - conda-forge
  - nodefaults
dependencies:
  - pip
  - pip:
    - -e file://${PWD}/workflow/src

${PWD}会被shell解析为你运行snakemake的根目录，pip能准确定位到workflow/src下的包，同时保留可编辑模式，且路径具备可移植性。

方案2：在Snakefile规则中动态安装 #

如果不想依赖环境变量，可利用Snakemake内置变量workflow.directory（指向Snakefile所在的workflow目录），在规则的shell指令中安装包：

rule makefile:
    output: "test_file.txt"
    conda:
        "envs/python_env.yaml"
    shell:
        """
        pip install -e {workflow.directory}/src
        python --version > {output}
        """

这种方式无需修改env.yaml，但会在每次运行规则时执行安装（可编辑模式下不会重复编译，仅确认链接），适合调试阶段快速调整。

验证方法 #

从根目录执行snakemake命令：

snakemake --cores 1 --software-deployment-method conda

此时Conda环境会正确安装my_package的可编辑版本，规则能正常运行。

内容的提问来源于stack exchange，提问作者Harry Matthews