为何微调Transformer模型从磁盘加载后评估准确率低于训练时？

常见原因及对应修复方法 #

• 模型模式未正确切换
  训练时模型处于train()模式，Dropout、LayerNorm等层会启用随机行为；评估时需要切换到eval()模式来关闭这些随机性。如果保存模型前未切换到eval()，或加载后忘记切换，会直接导致结果偏差。示例代码：

  # 训练阶段评估前务必切换
  model.eval()
  # 保存最优模型前确保处于eval状态
  torch.save(model.state_dict(), "best_model.pt")
  # 加载模型后必须切换到eval模式
  model.load_state_dict(torch.load("best_model.pt"))
  model.eval()
  

  若使用Hugging Face Transformers的Trainer，训练时会自动处理模式切换，但手动加载模型时容易遗漏这一步。

• 数据集预处理存在随机性
  评估数据集的预处理流程必须和训练时完全一致：

  • 关闭所有不必要的随机操作（如随机数据增强、随机截断）；
  • 确保分词、padding、collate函数的参数完全相同，比如MLM任务的随机掩码必须在评估阶段禁用；
  • 复现时避免重新划分数据集或随机采样，直接复用训练时的eval_dataset。

• 批量/层归一化状态丢失
  若模型使用BatchNorm，训练时会累积running_mean和running_var，这些状态需要和权重一起保存。如果仅保存模型权重而遗漏这些状态，加载后归一化层会使用默认初始值，导致输出偏差。对于Transformer常用的LayerNorm，虽为逐样本归一化，但仍需确保处于eval()模式以避免训练时的特殊逻辑。

• 数值精度不匹配
  训练时若使用混合精度（如FP16），复现时需保持相同的精度设置。比如Hugging Face的TrainingArguments中开启了fp16，推理时也要用accelerate或torch.cuda.amp维持相同精度，否则数值差异会累积导致准确率下降。

• 模型权重保存不完整
  避免直接保存整个模型对象（torch.save(model, "model.pt")），这种方式可能因结构引用问题导致加载后权重缺失。推荐使用state_dict方式：

  # 保存权重字典
  torch.save(model.state_dict(), "best_model.pt")
  # 加载时先初始化模型结构，再加载权重
  model = MyTransformerModel(config)
  model.load_state_dict(torch.load("best_model.pt"))
  

快速验证步骤 #

1. 训练完成后，不保存模型，直接调用评估函数，确认结果是否与训练阶段一致；
2. 保存模型后立即加载并评估，定位问题是否出在保存/加载环节；
3. 逐步排查预处理、模型模式、精度设置等变量，每次仅修改一个变量，精准定位根因。

内容的提问来源于stack exchange，提问作者Sadaf