求助：基于Hydra Structured Config的YAML配置最小可用示例

项目结构 #

your_project/
├── config/
│   ├── config.yaml
│   └── source/
│       ├── s3.yaml
│       └── filesystem.yaml
├── config_schema.py
└── notebooks/
    └── hydra-test.ipynb

1. 定义结构化配置类（config_schema.py） #

from dataclasses import dataclass
from typing import List, Any

# 所有数据源的基类，用于统一类型标识
@dataclass
class SourceBase:
    pass

# S3数据源结构化配置
@dataclass
class S3Source(SourceBase):
    bucket: str
    key_id: str
    secret_id: str

# 文件系统数据源结构化配置
@dataclass
class FilesystemSource(SourceBase):
    path: str

# 主配置类，支持动态添加数据源
@dataclass
class MainConfig:
    cd: str
    source: List[Any]  # 使用Any兼容任意继承自SourceBase的数据源，实现动态扩展

2. 修改YAML配置文件 #

config/config.yaml #

defaults:
  - _self_
  # 绑定主配置的结构化schema
  - schema: config_schema.MainConfig
  # 动态加载数据源配置
  - source:
    - s3
    - filesystem

cd: x

config/source/s3.yaml #

# @package source.s3
defaults:
  - _self_
  # 绑定S3数据源的结构化schema
  - schema: config_schema.S3Source

bucket: bckt
key_id: 12xx345
secret_id: asdf345fa

config/source/filesystem.yaml #

# @package source.filesystem
defaults:
  - _self_
  # 绑定文件系统数据源的结构化schema
  - schema: config_schema.FilesystemSource

path: /mnt/docs/asdf

3. Notebook加载配置代码（notebooks/hydra-test.ipynb） #

import sys
from pathlib import Path

# 将项目根目录加入Python路径，确保能导入config_schema
sys.path.append(str(Path().resolve().parent))

from hydra import compose, initialize
from omegaconf import OmegaConf
import config_schema  # 必须导入，让Hydra识别结构化配置类

with initialize(version_base=None, config_path="../config"):
    cfg = compose(config_name="config")

# 打印格式化后的配置
print(OmegaConf.to_yaml(cfg))

# 可选：转换为dataclass实例验证类型
cfg_obj = OmegaConf.to_object(cfg)
print(f"第一个数据源类型: {type(cfg_obj.source[0])}")
print(f"第二个数据源类型: {type(cfg_obj.source[1])}")

关键说明 #

• 动态数据源支持：主配置中source: List[Any]允许你任意添加新的数据源（只需新增继承SourceBase的dataclass和对应的YAML配置文件，无需修改主配置类）。
• Schema绑定：每个YAML配置中通过schema字段关联对应的结构化类，解决了你之前只输出{'cd': '???'}的问题（未绑定Schema时Hydra无法解析配置结构）。
• Notebook路径处理：通过sys.path.append将项目根目录加入Python路径，确保Notebook能正确导入config_schema.py。

内容的提问来源于stack exchange，提问作者mr. engineer