如何在Hydra中加载嵌套YAML文件及解析运行时路径？

核心问题回顾 #

你遇到的问题是YAML的!include构造函数执行时机早于Hydra的变量插值，导致${work_dir}这类运行时变量无法被解析，进而找不到目标配置文件。下面提供两种针对性解决方案，覆盖你的需求场景。

方案一：使用Hydra原生配置组合能力（推荐） #

Hydra本身支持配置组与配置引用，无需自定义!include即可实现嵌套配置加载，且天然支持变量插值。

1. 调整目录结构为配置组格式 #

将部件配置整理为Hydra识别的配置组：

configs/
├── inference_root.yaml
├── experiments/
│   └── my_experiment.yaml
├── tires/          # tires配置组
│   ├── tires_1.yaml
│   └── tires_2.yaml
├── engines/        # engines配置组
│   ├── engine_3.yaml
│   └── engine_5.yaml
└── doors/          # doors配置组
    ├── door_81.yaml
    └── door_12.yaml

2. 修改实验配置文件，使用Hydra配置引用 #

在my_experiment.yaml中用???语法引用其他配置组的文件：

car_1:
  tires: ???tires/tires_1
  engine: ???engines/engine_3
  doors: ???doors/door_81

car_2:
  tires: ???tires/tires_2
  engine: ???engines/engine_5
  doors: ???doors/door_12

3. 在代码中获取完整配置 #

Hydra会自动解析变量并加载所有嵌套配置，直接在主函数中访问即可：

import hydra
from omegaconf import DictConfig

@hydra.main(config_path="configs", config_name="inference_root")
def main(cfg: DictConfig):
    # 直接访问嵌套加载的配置
    print("Car 1 tires config:", cfg.car_1.tires)
    print("Car 2 engine config:", cfg.car_2.engine)

if __name__ == "__main__":
    main()

方案二：自定义支持Hydra变量插值的!include构造函数 #

如果必须保留!include的使用方式，可以通过OmegaConf（Hydra底层配置库）注册支持变量解析的构造函数：

1. 注册自定义构造函数 #

from omegaconf import OmegaConf

def include_resolver(path):
    # 先解析路径中的Hydra变量
    resolved_path = OmegaConf.create({"temp": path})["temp"]
    # 加载并返回目标配置文件内容
    return OmegaConf.load(resolved_path)

# 注册为OmegaConf的解析器
OmegaConf.register_new_resolver("!include", include_resolver, replace=True)

2. 在YAML中使用带变量的!include #

# inference_root.yaml
work_dir: ${hydra:runtime.cwd}
data_dir: ${work_dir}/data

# my_experiment.yaml
car_1:
  tires: !include ${data_dir}/tires/tires_custom.yaml
  engine: !include ${work_dir}/engines/engine_3.yaml

3. 代码中获取完整配置 #

与方案一相同，Hydra启动后会自动解析所有变量并加载嵌套配置，直接在cfg中访问即可。

针对补充场景的说明 #

1. 获取包含所有嵌套配置的cfg对象：
   只要通过Hydra的@hydra.main装饰器启动程序，cfg参数会自动包含所有通过配置引用或!include加载的嵌套配置，无需额外处理。

2. 加载运行时路径下的YAML文件：
   两种方案都支持运行时变量解析（如${work_dir}、${data_dir}），只要变量在根配置中正确定义，Hydra会先解析变量得到真实路径，再加载对应配置文件。

内容的提问来源于stack exchange，提问作者trdavidson