如何修改Hydra日志目录结构并捕获HYDRA前缀日志？

一、自定义输出目录结构 #

Hydra支持通过配置模板自定义输出目录，结合命令行传入的expname参数，可实现你需要的目录格式。

方法1：配置文件方式（推荐） #

在你的Hydra配置文件（如config.yaml）中添加以下配置：

# 设置默认实验名，可通过命令行覆盖
expname: default_exp

hydra:
  run:
    # 自定义输出目录模板：实验名-时间戳
    dir: outputs/${expname}-${now:%Y-%m-%d-%H-%M-%S}

运行训练脚本时，通过命令行指定实验名：

python train.py expname=expname1

执行后会生成类似outputs/expname1-2022-11-12-18-17-28的目录，里面包含train.log。

方法2：代码内动态配置 #

如果不想依赖配置文件，可在代码中直接指定目录模板：

import hydra
from omegaconf import DictConfig

@hydra.main(version_base=None)
def main(cfg: DictConfig) -> None:
    # 你的训练逻辑
    pass

if __name__ == "__main__":
    # 初始化时通过overrides传入实验名
    hydra.initialize_config_dir(config_dir="./configs", version_base=None)
    cfg = hydra.compose(
        config_name="config",
        overrides=[f"expname=expname2"]
    )
    # 动态设置输出目录
    hydra.configure_output(
        dir=f"outputs/{cfg.expname}-{hydra.utils.get_timestamp()}"
    )
    main(cfg)

二、将Hydra日志写入文件 #

默认Hydra日志仅输出到控制台，可通过配置或代码添加文件处理器，将[2022-11-12 17:51:53,936][HYDRA]格式的日志写入文件。

方法1：配置文件方式 #

在config.yaml中扩展Hydra日志配置：

hydra:
  logging:
    version: 1
    formatters:
      hydra_formatter:
        format: "[%(asctime)s][HYDRA] %(message)s"
    handlers:
      # 控制台处理器（保留默认输出）
      console:
        class: logging.StreamHandler
        formatter: hydra_formatter
      # 文件处理器（写入到输出目录的train.log）
      file:
        class: logging.FileHandler
        formatter: hydra_formatter
        filename: ${hydra.run.dir}/train.log
    root:
      # 让根日志同时输出到控制台和文件
      handlers: [console, file]

方法2：代码内添加日志处理器 #

如果需要更灵活的控制，可在代码中手动为Hydra日志器添加文件处理器：

import logging
import hydra
from omegaconf import DictConfig
from hydra.core.hydra_config import HydraConfig

@hydra.main(version_base=None, config_path="configs", config_name="config")
def main(cfg: DictConfig) -> None:
    # 获取Hydra的根日志器
    hydra_logger = logging.getLogger("hydra")
    
    # 构建日志文件路径
    log_file = f"{HydraConfig.get().runtime.output_dir}/train.log"
    # 创建文件处理器
    file_handler = logging.FileHandler(log_file)
    # 设置日志格式
    formatter = logging.Formatter("[%(asctime)s][HYDRA] %(message)s")
    file_handler.setFormatter(formatter)
    
    # 添加处理器到日志器
    hydra_logger.addHandler(file_handler)
    
    # 你的训练逻辑
    pass

if __name__ == "__main__":
    main()

内容的提问来源于stack exchange，提问作者이준혁