Hydra Basic Sweeper是否支持嵌套超参数调优及配置咨询

核心问题 #

Hydra的Basic Sweeper不支持嵌套层级的子配置中定义调优参数，你在sgd.yaml里写的hydra.sweeper.params不会被顶层sweeper识别；同时原配置中momentum存在于sgd-tuning子节点下，代码直接访问cfg.optimizer.momentum会因路径不匹配报错。

解决方案 #

1. 调整SGD配置结构，统一参数层级

修改sgd.yaml，移除嵌套的sgd-tuning子配置，直接将momentum作为SGD配置的顶层参数：

name: sgd
lr: 1.0e-2
nesterov: False
weight_decay: 0
momentum: 0.85  # 直接放到optimizer根节点，与adam配置结构统一

2. 顶层配置中定义条件化调优参数

在主配置的hydra.sweeper.params中，使用条件参数语法为不同优化器设置专属调优项：

defaults:
  - dataset: file_cpet
  - optimizer: ???
  - model: tenet_lstm
  - _self_

working_dir: ${hydra:runtime.cwd}
data_dir: ${working_dir}/data/
batch_size: 10
epochs: 150

hydra:
  sweeper:
    params:
      optimizer: sgd, adam
      optimizer.lr: 1e-2, 1.5e-2
      # 仅当optimizer为sgd时，才调优momentum参数
      optimizer=sgd.optimizer.momentum: 0.85, 0.9

3. 代码中兼容不同优化器的参数访问

因为Adam没有momentum参数，代码中需增加类型判断避免报错：

# 示例代码片段
if cfg.optimizer.name == "sgd":
    momentum = cfg.optimizer.momentum
else:
    momentum = None  # Adam无需momentum，或根据需求设置默认值

原配置失效原因 #

1. Basic Sweeper仅读取顶层配置中的hydra.sweeper.params，递归子配置里的sweeper设置完全不生效；
2. 原sgd.yaml通过defaults引入的sgd-tuning子配置，其momentum存于optimizer.sgd-tuning节点下，而非optimizer根节点，导致代码访问路径cfg.optimizer.momentum匹配失败。

内容的提问来源于stack exchange，提问作者Parlu10