如何在Snakemake的Conda环境中正确引用本地pip包？

要解决Snakemake中conda环境安装本地相对路径库的可移植性问题，核心是让pip能始终定位到Snakefile所在目录下的库，不受Snakemake工作目录切换或--conda-prefix参数的影响，推荐以下两种方法：

方法一：使用Jinja2模板生成绝对路径 #

Snakemake支持用Jinja2模板编写conda环境配置文件，利用内置变量workflow.basedir（该变量指向Snakefile所在目录的绝对路径）来拼接本地库的路径，确保路径始终有效。

1. 创建后缀为.j2的环境模板文件（比如environment.yaml.j2）：

channels:
  - defaults
dependencies:
  - python=3.11.8=hb885b13_0
  - pip:
    - {{ workflow.basedir }}/libs/mylib1
    - {{ workflow.basedir }}/libs/mylib2

2. 在Snakefile中引用这个模板文件作为conda环境：

rule example_rule:
    conda: "environment.yaml.j2"
    shell: "python my_script.py"

当Snakemake执行时，会自动渲染模板，将{{ workflow.basedir }}替换为实际的绝对路径，无论用户指定什么--conda-prefix或工作目录，pip都能正确找到本地库。

方法二：预打包本地库为Wheel文件 #

如果不想使用模板，可以将本地库打包成Wheel格式，然后在environment.yml中用相对于Snakefile的路径引用打包后的文件，这种方式也能避免路径失效问题。

1. 打包本地库（需先安装setuptools和wheel）：

cd libs/mylib1
python setup.py bdist_wheel
cd ../mylib2
python setup.py bdist_wheel

2. 修改environment.yml引用Wheel文件：

channels:
  - defaults
dependencies:
  - python=3.11.8=hb885b13_0
  - pip:
    - ./libs/mylib1/dist/mylib1-0.1.0-py3-none-any.whl
    - ./libs/mylib2/dist/mylib2-0.1.0-py3-none-any.whl

这种方式下，Snakemake会将整个工作目录（Snakefile所在目录）作为上下文，相对路径会被解析为相对于该目录的绝对路径，不会受工作目录切换影响。

为什么原方法会失效？ #

Snakemake在创建conda环境时，会切换到--conda-prefix指定的目录（或默认的临时缓存目录），此时原environment.yml中的相对路径是相对于这个新目录，而非Snakefile所在目录，因此会找不到本地库。上述两种方法都通过绝对路径或稳定的相对路径上下文解决了这个问题。

内容的提问来源于stack exchange，提问作者Ed Bennett