基于PyTorch与Optuna的DNN模型结果复现问题

你遇到的这个复现不一致问题在深度学习调优中很常见，核心原因是随机种子的全局一致性没覆盖所有环节，或者训练/调优过程中存在未被固定的随机源。下面分点拆解可能的原因，以及对应的修复步骤：

一、随机种子未全局固定（最常见原因） #

你只设置了torch.manual_seed，但深度学习训练中的随机源不止PyTorch本身，Optuna的trial运行、numpy、Python原生random库、CUDA后端都可能引入随机性：

• Optuna trial的随机状态：Optuna在每次trial时会默认生成独立的随机状态，如果你在调优阶段没有固定Optuna的全局种子，那么每个trial的随机初始化（包括模型权重、数据加载顺序）和你复现时的种子可能不匹配。
• 遗漏其他库的种子设置：numpy、random库的随机操作（比如数据拆分、某些数据增强逻辑）也会影响结果，CUDA的cuDNN后端默认有非确定性优化。

修复步骤：
在Optuna调优的代码和复现代码中，都添加完整的种子固定逻辑：

import torch
import random
import numpy as np
import optuna

# 固定Python原生随机种子
random.seed(42)
# 固定numpy随机种子
np.random.seed(42)
# 固定PyTorch CPU/CUDA种子
torch.manual_seed(42)
torch.cuda.manual_seed_all(42)
# 关闭cuDNN的非确定性优化，强制确定性计算
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
# 固定Optuna的全局种子
optuna.set_seed(42)

二、数据加载/预处理的随机性未对齐 #

即使种子固定，以下数据环节也可能导致差异：

• DataLoader的worker种子：如果用了num_workers>0，每个worker的随机种子需要手动设置，否则PyTorch会自动生成不同的种子，导致数据加载顺序或增强效果不一致。
• 数据增强的随机行为：如果训练中用到了随机数据增强（比如RandomHorizontalFlip），这些变换的种子需要和Optuna trial中一致，或者统一固定。
• 数据拆分的差异：如果Optuna调优时每次trial都重新拆分训练/验证集，而你复现时用的是固定拆分，结果自然不同。

修复步骤：

1. 对于DataLoader，手动设置worker的种子：

def seed_worker(worker_id):
    worker_seed = torch.initial_seed() % 2**32
    np.random.seed(worker_seed)
    random.seed(worker_seed)

dataloader = torch.utils.data.DataLoader(
    dataset,
    batch_size=...,
    shuffle=True,
    num_workers=...,
    worker_init_fn=seed_worker,
    generator=torch.Generator().manual_seed(42)
)

2. 确保调优和复现时用完全相同的训练/验证集拆分（比如提前拆分好并保存，不要每次运行都重新随机拆分）。
3. 数据增强的随机变换，在调优和复现时使用相同的种子设置。

三、Optuna调优与复现的训练细节差异 #

可能你忽略了Optuna trial中的一些隐性训练配置：

• trial中的epoch内逻辑：比如Optuna是否在训练过程中使用了早停（Early Stopping）？如果trial中因为验证损失下降而提前停止，但你复现时跑满了50轮，结果会不同。
• 优化器的初始化细节：比如某些优化器的状态初始化（比如Adam的eps参数，如果你在Optuna中没显式指定，可能不同版本默认值有差异）。
• 模型初始化的差异：Optuna中生成模型时，是否有额外的随机逻辑（比如动态调整层数时的权重初始化），而复现时的模型初始化没对齐。

修复步骤：

1. 检查Optuna的trial代码，确保复现代码的训练逻辑（包括早停、梯度裁剪、正则化等）和trial完全一致。
2. 把Optuna中最优trial的所有超参（包括优化器的所有细节参数）都显式写入复现代码，不要依赖默认值。
3. 对比Optuna trial和复现代码的模型构建逻辑，确保每一层的初始化方式完全相同。

四、环境依赖的差异 #

如果调优和复现的环境（PyTorch版本、CUDA版本、Optuna版本、其他依赖库版本）不同，底层实现的差异也可能导致结果不一致：
比如PyTorch 1.10和2.0中某些层的初始化逻辑有细微变化，或者CUDA版本不同导致cuDNN的行为差异。

修复步骤：

1. 记录调优时的环境依赖（可以用pip freeze或conda list导出），复现时使用完全相同的环境。
2. 如果无法完全复刻环境，尽量使用相同大版本的PyTorch和CUDA。

总结：复现一致结果的关键配置清单 #

要确保完全复现，你需要在调优阶段和复现阶段都严格执行以下步骤：

• 全局固定所有随机源的种子（Python、numpy、PyTorch、CUDA、Optuna）。
• 对齐数据加载的所有细节（固定数据集拆分、worker种子、数据增强逻辑）。
• 完全复刻训练逻辑（包括早停、优化器参数、模型初始化、正则化等）。
• 保持环境依赖的一致性。

内容的提问来源于stack exchange，提问作者r_k_y