如何多次使用Hydra配置组并覆盖每个实例配置

当前配置结构 #

hydra/
  pipeline/
    common/
      feature.yaml
  stage/
    train.yaml

配置文件内容 #

train.yaml #

# @package _global_
defaults:
  - _self_
  - ../pipeline/common@train: feature
  - ../pipeline/common@val: feature

train:
  conf:
    split: train

val:
  conf:
    split: val

pipeline:
  - ${oc.dict.values: train.steps}
  - ${oc.dict.values: val.steps}

feature.yaml #

conf:
  split: train

steps:
  tabular:
    name: "${conf.split}-tabular"
    class: FeatureGeneration
    dataset:
      datasources: [ "${conf.split}_split" ]

已完成操作 #

• 通过train.yaml中的defaults实现了同一配置组的多次调用

遇到的问题 #

1. 报错InterpolationKeyError 'conf.split' not found，已知在feature.yaml开头添加@package common.feature后可通过common.feature.conf.split引用，但希望有更简洁的方式，尝试相对导入未成功。
2. 无法从train.yaml中覆盖conf.split：设置的train.conf.split和val.conf.split未生效，核心需求是让train和val两个配置组实例使用不同的conf.split值。

解决方案 #

核心思路 #

利用Hydra的包重定向和配置覆盖机制，将配置组导入到对应命名空间，并使用相对插值引用配置，实现不同实例的独立配置覆盖。

1. 调整train.yaml的defaults配置

修改配置组导入方式，指定每个实例的包命名空间，确保feature.yaml的配置合并到train/val子命名空间下：

# @package _global_
defaults:
  - _self_
  # 将feature.yaml导入到train命名空间，指定包为train
  - ../pipeline/common/feature@train:
      _target_: null
      _package_: train
  # 将feature.yaml导入到val命名空间，指定包为val
  - ../pipeline/common/feature@val:
      _target_: null
      _package_: val

train:
  conf:
    split: train

val:
  conf:
    split: val

pipeline:
  - ${oc.dict.values: train.steps}
  - ${oc.dict.values: val.steps}

2. 修改feature.yaml的插值为相对引用

使用${.conf.split}引用当前命名空间下的conf.split，避免绝对路径的繁琐，同时解决插值找不到键的问题：

conf:
  split: train

steps:
  tabular:
    name: "${.conf.split}-tabular"
    class: FeatureGeneration
    dataset:
      datasources: [ "${.conf.split}_split" ]

原理说明 #

• 通过_package_: train将feature.yaml的配置归属到train命名空间，此时feature.yaml中的conf会成为train.conf的一部分，train.yaml中定义的train.conf.split会覆盖feature.yaml的默认值，val实例同理。
• 相对插值${.conf.split}会自动识别当前所在的命名空间（train或val），引用对应下的conf.split值，既简洁又避免了全局命名冲突。

内容的提问来源于stack exchange，提问作者wc250