使用EfficientNetV2L微调时解冻权重后训练损失回升的原因

我正在使用Large EfficientNet（EfficientNetV2L）训练图像分类器，初始实现代码如下：

base_model = EfficientNetV2L(input_shape = (300, 500, 3),
                            include_top = False,
                            weights = 'imagenet',
                            include_preprocessing = True)

model = tf.keras.Sequential([base_model,
                             layers.GlobalAveragePooling2D(),
                             layers.Dropout(0.2),
                             layers.Dense(128, activation = 'relu'),
                             layers.Dropout(0.3),
                             layers.Dense(6, activation = 'softmax')])

base_model.trainable = False

model.compile(optimizer = optimizers.Adam(learning_rate = 0.001),
              loss = losses.SparseCategoricalCrossentropy(),
              metrics = ['accuracy'])

callback = [callbacks.EarlyStopping(monitor = 'val_loss', patience = 2)]
history =  model.fit(ds_train, batch_size = 28, validation_data = ds_val, epochs = 20, verbose = 1, callbacks = callback)

该阶段模型运行正常，训练至第4轮时损失降至0.1559，验证精度达0.9428。

但在微调阶段，我解冻部分权重并重新编译训练：

base_model.trainable = True

fine_tune_at = 900
for layer in base_model.layers[:fine_tune_at]:
  layer.trainable = False

model.compile(optimizer = optimizers.Adam(learning_rate = 0.0001),
              loss = losses.SparseCategoricalCrossentropy(),
              metrics = ['accuracy'])

history =  model.fit(ds_train, batch_size = 28, validation_data = ds_val, epochs = 20, verbose = 1, callbacks = callback)

此时模型可训练参数变为44,592,230，但重新训练时损失从0.444开始，仿佛从头训练一般。我认为微调不应重置权重，请问这是为何？

原因分析与解决办法 #

• Adam优化器状态被清空：每次调用model.compile()都会重新初始化优化器的内部状态（比如动量、累积的一阶/二阶矩）。第一次训练时Adam已经积累了适配你任务的状态，重新编译后这些状态直接被重置，新的Adam从零开始更新参数，自然会让模型表现出现明显波动，看起来像从头训练。
• 解冻层未适配任务数据：你解冻的这些高层之前一直是冻结状态，参数还是预训练的初始值，没有被你的任务数据调整过。一旦开始训练，这些层的参数更新会对整个模型的输出产生较大冲击，直接导致损失上升。
• 可能的解决步骤：
  1. 复用优化器实例：第一次训练时把优化器存成变量，比如optimizer = optimizers.Adam(learning_rate=0.001)，微调时只修改学习率（optimizer.learning_rate.assign(1e-5)），再用这个旧的优化器实例重新编译，保留之前的状态。
  2. 进一步降低微调学习率：你现在用的0.0001是预训练头时的1/10，建议再降到1e-5甚至1e-6，让解冻层的参数更新更平缓，避免破坏之前训练好的分类头。
  3. 增加预热阶段：微调前先用极小的学习率训1-2轮，让解冻层慢慢适配你的任务数据，再逐步提升到目标学习率。
  4. 确认解冻范围合理性：打印base_model.layers查看每层的名称和类型，确保fine_tune_at=900确实是在解冻高层特征层，而不是中间的基础层，避免不必要的参数更新干扰模型。

内容的提问来源于stack exchange，提问作者Adarsh Wase