Snakemake引入GitHub远程模块自动加载内置config.yaml方法

问题说明 #

引入远程GitHub仓库的Snakemake模块时，执行报错提示模块声明的config.yaml不存在，手动在module块内添加configfile参数、直接加载远程config传入的写法均无效。初始代码和报错如下：

• 初始模块定义：

module technology_data:
    snakefile: github("PyPSA/technology-data", path="Snakefile", commit="5a10981")

use rule * from technology_data as technology_data_*

• 执行报错：

> snakemake -call technology_data_compile_cost_assumptions
...
WorkflowError in line 2 of https://github.com/PyPSA/technology-data/raw/5a10981/Snakefile:
Workflow defines configfile config.yaml but it is not present or accessible

报错核心原因：Snakemake默认仅拉取github()参数中指定的Snakefile单文件，不会自动解析、拉取该Snakefile中通过相对路径引用的同仓库其他依赖文件。

可行方案 #

方案1：指定仓库根前缀（推荐，零额外配置） #

在github()调用中添加prefix="."参数，显式告知Snakemake该模块的工作根目录为对应commit的仓库根路径，Snakemake会自动处理该路径下所有相对路径引用的文件，包括模块自带的config.yaml，无需单独下载或声明配置。
修改后代码：

module technology_data:
    snakefile: github(
        "PyPSA/technology-data",
        path="Snakefile",
        commit="5a10981",
        prefix="."
    )

use rule * from technology_data as technology_data_*

该写法完全保留原模块的配置加载逻辑，不需要手动修改任何模块原有内容。

方案2：预加载远程配置传入模块（适合需要自定义修改配置的场景） #

如果需要在主工作流中修改模块配置，可以先拉取远程config加载为字典，再通过module的config参数传入，同时跳过模块自身的配置校验避免冲突：

# 提前加载远程仓库的配置文件
td_module_config = snakemake.io.load_configfile(
    github("PyPSA/technology-data", path="config.yaml", commit="5a10981")
)

# 此处可按需修改td_module_config里的配置项

module technology_data:
    snakefile: github("PyPSA/technology-data", path="Snakefile", commit="5a10981")
    config: td_module_config
    skip_validation: True

use rule * from technology_data as technology_data_*

该方案要求Snakemake版本≥7.18，低版本不支持模块级skip_validation参数，会触发重复加载配置的报错。

前置要求：两种方案均需要Snakemake版本≥7.0，7.0以下版本对远程模块的路径解析存在已知缺陷，即使配置正确也可能出现文件找不到的问题，建议升级到最新稳定版使用。

内容的提问来源于stack exchange，提问作者euronion