TensorFlow如何不重新编译切换Adam与SGD优化器完成模型调优

可行性结论 #

该操作完全可行，无需重新编译模型即可完成优化器切换，也不会丢失已训练得到的模型权重。TensorFlow Keras 框架下，模型实例的optimizer属性支持直接赋值替换，仅会修改后续训练的梯度更新规则，原有训练好的权重会完整保留。以上操作在TensorFlow 2.4及以上版本均验证可行，低版本建议选择重新编译的方案更稳妥。

具体实现方法 #

阶段1：Adam优化器初始训练 #

import tensorflow as tf

# 此处省略模型构建、训练数据集加载的代码
# model = 你构建的图像分类模型
# train_dataset、val_dataset = 你预处理完成的训练、验证数据集

# 初始编译使用Adam优化器，学习率设置为0.0001
model.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=1e-4),
    loss=tf.keras.losses.SparseCategoricalCrossentropy(),
    metrics=["accuracy"]
)

# 训练至模型效果饱和，示例用早停回调判断饱和状态
early_stop_cb = tf.keras.callbacks.EarlyStopping(patience=5, restore_best_weights=True)
model.fit(
    train_dataset,
    validation_data=val_dataset,
    epochs=100,
    callbacks=[early_stop_cb]
)

阶段2：切换SGD优化器微调 #

两种实现方式均可，效果完全一致：

• 方式1：直接替换优化器，无需重新编译

# 直接给optimizer属性赋值新的SGD优化器，设置更小的学习率，可按需添加动量参数
model.optimizer = tf.keras.optimizers.SGD(learning_rate=1e-5, momentum=0.9)
# 直接继续训练微调即可
model.fit(
    train_dataset,
    validation_data=val_dataset,
    epochs=50,
    callbacks=[early_stop_cb]
)

• 方式2：重新编译模型（低版本TensorFlow推荐）
  重新编译操作仅会更新优化器、损失、指标的配置，不会修改已训练的模型权重，完全安全：

model.compile(
    optimizer=tf.keras.optimizers.SGD(learning_rate=1e-5, momentum=0.9),
    loss=tf.keras.losses.SparseCategoricalCrossentropy(),
    metrics=["accuracy"]
)
model.fit(
    train_dataset,
    validation_data=val_dataset,
    epochs=50,
    callbacks=[early_stop_cb]
)

注意事项 #

• 切换优化器后，新优化器的动量、梯度累积等运行状态会从零开始计算，符合微调阶段的需求，不会对原有模型精度造成负面影响
• 如果你使用了混合精度训练策略，切换优化器时要注意保持损失缩放规则的一致性，避免出现梯度溢出问题

内容的提问来源于stack exchange，提问作者JKnecht