Keras Model.load_weights加载权重失效无法恢复模型训练状态如何解决

核心原因 #

加载权重后续训初始指标和保存时差距极大的问题，基本都是权重未正确匹配、训练状态未对齐导致的，和load_weights接口本身无关。

排查&解决步骤 #

第一步：先验证权重是否真的加载正确 #

加载完权重先不要直接调用fit，取一小批训练时用过的验证集数据做推理，校验指标是否和保存时对齐：

# 取1个验证集batch测试加载后的模型状态
loss, acc = model.evaluate(val_ds.take(1), verbose=0)
print(f"权重加载后校验指标：loss={loss:.2f}, acc={acc:.2f}")

• 如果这一步输出的acc已经远低于0.8、loss破千，说明权重根本没正确加载到对应层，问题出在模型结构/加载逻辑上
• 如果这一步指标和保存时的0.8acc、103loss基本一致，说明权重加载没问题，问题出在续训的配置上

第二步：修复权重加载错误问题 #

如果校验阶段指标就不对，按以下规则调整加载逻辑：

• 保证重建的模型结构和训练前10轮时完全一致：包括层顺序、层命名、激活函数、Dropout比例、正则化系数、BN层配置，不能做任何改动
• 加载权重时关闭不匹配跳过，建议开启按层名匹配，避免权重按顺序错位加载：

  model.load_weights('path/to/weights.h5', by_name=True, skip_mismatch=False)
  

  不要设置skip_mismatch=True，该参数会静默跳过形状/名称不匹配的层，你无法感知哪些层没加载到权重，很容易出现半随机初始化的状态。如果加载时直接报错，说明模型结构和权重不匹配，先对齐结构再加载。
• 确认预处理逻辑完全一致：输入数据的归一化规则、分词逻辑、输入形状必须和之前训练时完全相同，比如之前是将图像像素值缩放到[-1,1]区间，就不能改成缩放到[0,1]区间。

第三步：对齐续训配置，避免训练状态断层 #

如果校验阶段指标正常，续训第一轮指标崩，基本是训练配置没对齐：

• 优先用整模保存/加载实现100%状态恢复
  仅用save_weights保存的权重文件不包含优化器状态、学习率调度器状态，Adam之类带动量、自适应学习率累积值的优化器会被重新初始化，容易出现更新步长异常。要完全无缝续训，保存时直接存完整模型：

  # 保存时直接存整模（TF2.10+推荐用.keras格式）
  model.save('full_train_state.keras')
  # 加载时直接读取所有状态，包括模型结构、权重、优化器、调度器、编译配置
  model = tf.keras.models.load_model('full_train_state.keras')
  

  这种方式加载后不需要重新compile，直接接initial_epoch=10调用fit即可，指标会和保存时完全衔接。
• 如果你已经只存了权重文件，没有整模备份，compile时要保证配置和之前完全一致：优化器类型、初始学习率、损失函数、指标定义、优化器内置参数（比如Adam的beta1、beta2、epsilon）都要和前10轮训练的配置一模一样，不要随意改大学习率，否则很容易一步更新就把已经训好的权重冲飞。
• 确认训练时batch size和之前一致：如果模型用了BatchNormalization层，batch size差异过大会导致BN层统计量偏移，也会出现精度骤降。

内容的提问来源于stack exchange，提问作者Moj Taba