PyTorch中超参数优化的现代实现方案（非网格/随机搜索类）

不用局限于CSV，以下几种现代方案更高效且更贴合PyTorch workflow：

1. 将元数据直接嵌入Checkpoint文件 #

PyTorch的.pth文件本质是可序列化的字典，完全可以把超参数、训练指标（如验证精度、损失）、训练终止epoch、甚至训练时间等元数据和模型参数存在同一个文件里，彻底避免文件对应错误。

示例代码：

# 保存checkpoint
checkpoint = {
    'model_state_dict': model.state_dict(),
    'optimizer_state_dict': optimizer.state_dict(),
    'hyperparams': {
        'lr': 0.001,
        'epochs': 50,
        'model_type': 'ResNet18'
    },
    'metrics': {
        'val_acc': 0.92,
        'train_loss': 0.21
    },
    'epoch': 50
}
torch.save(checkpoint, 'exp_resnet18_lr001.pth')

# 加载checkpoint
checkpoint = torch.load('exp_resnet18_lr001.pth')
model.load_state_dict(checkpoint['model_state_dict'])
optimizer.load_state_dict(checkpoint['optimizer_state_dict'])
# 直接获取元数据
print(checkpoint['hyperparams']['lr'])
print(checkpoint['metrics']['val_acc'])

2. 按实验维度组织结构化目录 #

给每个超参数组合创建独立子目录，目录名可以包含关键超参数（方便快速识别），目录内存放checkpoint、结构化元数据文件（YAML/JSON，比CSV更适合层级化参数）和训练日志。

目录示例：

experiments/
├── exp_resnet18_lr0.001_epoch50/
│   ├── model_checkpoint.pth
│   ├── params.yaml
│   └── training_log.txt
└── exp_vgg16_lr0.01_epoch30/
    ├── model_checkpoint.pth
    ├── params.yaml
    └── training_log.txt

用YAML保存元数据的示例：

import yaml

hyperparams = {'lr': 0.001, 'epochs': 50, 'model_type': 'ResNet18'}
metrics = {'val_acc': 0.92, 'train_loss': 0.21}

# 保存元数据到yaml
with open('./experiments/exp_resnet18_lr0.001_epoch50/params.yaml', 'w') as f:
    yaml.dump({'hyperparams': hyperparams, 'metrics': metrics}, f)

这种方式能让每个实验的所有数据完全隔离，后期复盘、对比时更清晰。

3. 结合轻量级配置/实验管理工具 #

用Hydra这类工具可以自动生成实验目录、管理超参数配置，同时自动记录配置和实验结果。它会根据超参数组合自动生成唯一子目录，你只需要在代码中调用Hydra的API，就能把checkpoint、配置文件、日志都存在对应目录里，不用手动管理路径。

另外，也可以配合TensorBoard记录元数据和训练曲线，同时把checkpoint路径关联到TensorBoard的日志中，方便可视化对比不同实验的结果。

这些方案相比CSV的优势：

• 避免了CSV文件与checkpoint文件的手动对应错误
• 元数据结构更灵活，支持层级化的超参数（比如模型的子参数）
• 加载和分析时更直接，无需额外解析CSV

内容的提问来源于stack exchange，提问作者J.Lee