在Hydra中使用OmegaConf解析器处理字典和列表时遇报错

问题场景 #

使用Hydra 1.1.2版本，尝试通过自定义OmegaConf解析器合并两个列表时，触发hydra.errors.OverrideParseException。相关代码及配置如下：

代码文件 app.py #

import hydra
from omegaconf import OmegaConf

# 自定义列表合并解析器
OmegaConf.register_new_resolver("merge", lambda x, y : x + y)

@hydra.main(config_name="test.yaml", config_path="./")
def main(cfg):
    OmegaConf.resolve(cfg)
    print(cfg)

if __name__ == "__main__":
    main()

配置文件 test.yaml #

list1 : [0]
list2 : [1,2,3]

list3 : ${merge:${list1},${list2}}

报错信息 #

Traceback (most recent call last):
File "C:\venvs\color-correction\lib\site-packages\hydra\_internal\utils.py", line 377, in _run_hydra
    run_and_report(
  File "C:\venvs\color-correction\lib\site-packages\hydra\_internal\utils.py", line 214, in run_and_report
    raise ex
  File "C:\venvs\color-correction\lib\site-packages\hydra\_internal\utils.py", line 211, in run_and_report
    return func()
  File "C:\venvs\color-correction\lib\site-packages\hydra\_internal\utils.py", line 378, in <lambda>
    lambda: hydra.run(
  File "C:\venvs\color-correction\lib\site-packages\hydra\_internal\hydra.py", line 88, in run
    cfg = self.compose_config(
  File "C:\venvs\color-correction\lib\site-packages\hydra\_internal\hydra.py", line 559, in compose_config
    cfg = self.config_loader.load_configuration(
  File "C:\venvs\color-correction\lib\site-packages\hydra\_internal\config_loader_impl.py", line 141, in load_configuration
    return self._load_configuration_impl(
  File "C:\venvs\color-correction\lib\site-packages\hydra\_internal\config_loader_impl.py", line 231, in _load_configuration_impl
    parsed_overrides = parser.parse_overrides(overrides=overrides)
  File "C:\venvs\color-correction\lib\site-packages\hydra\core\override_parser\overrides_parser.py", line 96, in parse_overrides
    raise OverrideParseException(
hydra.errors.OverrideParseException: Error parsing override 'list3=${merge:${list1},${list2}}'
extraneous input '}' expecting <EOF>
See https://hydra.cc/docs/next/advanced/override_grammar/basic for details
python-BaseException

原因分析 #

Hydra 1.1.x版本的配置加载流程中，会优先使用自身的override解析器处理配置中的插值语法。嵌套的${}结构（${merge:${list1},${list2}}）不符合Hydra的override语法规则，导致解析失败。

解决方案 #

方案1：升级Hydra到1.2+版本 #

Hydra 1.2及以上版本优化了OmegaConf插值的解析逻辑，原生支持嵌套的自定义解析器调用，无需修改代码或配置即可解决该问题。

方案2：给配置中的插值表达式添加引号 #

如果无法升级版本，可将配置中的嵌套插值用双引号包裹，让Hydra将整个表达式视为字符串，后续由OmegaConf负责解析：

修改后的test.yaml：

list1 : [0]
list2 : [1,2,3]

list3 : "${merge:${list1},${list2}}"

方案3：在代码中手动合并列表 #

放弃配置文件中的插值方式，直接在代码里完成列表合并：

修改后的app.py：

import hydra
from omegaconf import OmegaConf

@hydra.main(config_name="test.yaml", config_path="./")
def main(cfg):
    # 直接在代码中合并列表
    cfg.list3 = cfg.list1 + cfg.list2
    print(cfg)

if __name__ == "__main__":
    main()

内容的提问来源于stack exchange，提问作者Ori Noked