如何让用户通过自定义YAML文件覆盖Hydra应用的部分配置？

基础应用代码 #

from dataclasses import dataclass

import hydra
from hydra.core.config_store import ConfigStore


@dataclass
class MyAppConfig:
    req_int: int
    opt_str: str = "Default String"
    opt_float: float = 3.14


cs = ConfigStore.instance()
# 注册配置类，命名为base_config
cs.store(name="base_config", node=MyAppConfig)


@hydra.main(version_base=None, config_name="base_config", config_path="conf")
def my_app(cfg: MyAppConfig) -> None:
    print(cfg)


if __name__ == "__main__":
    my_app()

期望调用方式 #

希望用户通过单参数指定自定义配置文件，无需修改配置内容：

python my_app.py req_int=42 --config="~/path/to/user-defined-config.yaml"

用户自定义配置文件（user-defined-config.yaml） #

仅包含需要覆盖的参数：

opt_str: User Config String

预期输出 #

{'req_int': 42, 'opt_str': 'User Config String', 'opt_float': 3.14, 'config': 'hydra-user-conf'}

当前实现方式 #

需要用户在自定义配置中添加defaults字段：

defaults:
  - base_config
  - _self_

opt_str: User Config String

并通过两个CLI参数调用：

python hydra/app.py req_int=42 --config-path='~/path/to' --config-name="hydra-user-conf"

疑问：这是否是Hydra中最接近期望的实现方式？

当前的实现并非最优，有两种更简洁的方式可以满足需求，无需用户在配置文件中添加冗余的defaults配置：

方法一：利用Hydra内置参数简化调用 #

修改代码中hydra.main的config_path为None，取消默认的conf目录依赖：

@hydra.main(version_base=None, config_name="base_config")
def my_app(cfg: MyAppConfig) -> None:
    print(cfg)

用户调用时，通过--config-path指定配置文件目录，--config-name指定文件名，同时用+defaults参数自动合并基础配置与用户配置：

python my_app.py req_int=42 --config-path='~/path/to' --config-name='user-defined-config' +defaults=[base_config,_self_]

此方式下用户的自定义yaml无需任何额外内容，仅保留需要覆盖的参数即可。

方法二：自定义参数实现单文件指定（完全匹配期望调用格式） #

步骤1：修改配置类，添加可选的user_config字段 #

@dataclass
class MyAppConfig:
    req_int: int
    opt_str: str = "Default String"
    opt_float: float = 3.14
    user_config: str = ""

步骤2：在应用中加载并合并用户配置 #

引入OmegaConf处理配置合并：

from omegaconf import OmegaConf

@hydra.main(version_base=None, config_name="base_config", config_path="conf")
def my_app(cfg: MyAppConfig) -> None:
    if cfg.user_config:
        # 加载用户自定义配置文件
        user_cfg = OmegaConf.load(cfg.user_config)
        # 合并基础配置与用户配置
        cfg = OmegaConf.merge(cfg, user_cfg)
        # 移除user_config字段，避免出现在最终输出中
        OmegaConf.update(cfg, "user_config", None, force_remove=True)
    # 转换为字典格式输出，匹配预期结果
    print(OmegaConf.to_container(cfg, resolve=True))

步骤3：用户调用方式 #

完全符合期望的单参数指定格式：

python my_app.py req_int=42 user_config="~/path/to/user-defined-config.yaml"

此方式下用户无需修改任何配置文件内容，仅需传递自定义配置的路径即可，输出结果与预期完全一致。

内容的提问来源于stack exchange，提问作者talz