Keras模型微调初始损失高于迁移学习最终损失原因咨询

问题来自代码逻辑偏差和BatchNorm层的固有特性，具体如下：

• 层冻结代码写法错误，意外解冻了整个MobileNetV2基模型
  你构建的是三层结构的Sequential模型：
  1. 第0层：整个MobileNetV2基模型（内部包含上百个卷积、BN子层）
  2. 第1层：全局平均池化层
  3. 第2层：3分类全连接层
     你写的for layer in model.layers[:fine_tune_at]是在外层Sequential的层列表做切片，当fine_tune_at=-20时，外层总共只有3层，model.layers[:-20]是空列表，循环不会执行任何冻结操作。也就是说执行完model.trainable = True后，整个MobileNetV2的所有权重都被设为可训练，根本没按预期只解冻最后20层。
• BatchNorm层训练/推理模式切换导致特征分布偏移
  MobileNetV2结构中大量使用BatchNormalization层，两种模式下计算逻辑差异极大：
  • 迁移学习阶段你冻结了整个基模型，所有BN层默认处于推理模式，前向传播用ImageNet预训练得到的全局滑动平均均值、方差，特征分布稳定，所以损失能降到0.12左右。
  • 当你把所有层设为可训练后，所有BN层会自动切换到训练模式，前向传播改用当前小批量数据实时计算的均值、方差。训练刚开始时单批次的统计量和之前训练好的全局滑动平均差异很大，直接导致特征分布偏移，损失瞬间升高。
    你日志里第二轮损失就快速回落到0.18，接近迁移学习末期水平，就是因为BN层开始用新的批次数据更新滑动平均，几轮之后统计量重新贴合你的数据集分布，损失自然回落。
• 后续训练效果反超的原因
  你微调时用了1e-5的极小学习率，哪怕意外解冻了全部基模型层，小学习率也不会大幅破坏预训练权重，反而能让更多层的特征适配你的自定义数据集，最终效果更好是正常现象。

修正方案 #

1. 修正层冻结逻辑，遍历基模型内部的层做冻结，不要操作外层Sequential的层列表：

model.trainable = True
# 计算基模型的解冻起始位置，从倒数第20层开始解冻
fine_tune_at = len(base_model.layers) - 20
# 只冻结基模型中fine_tune_at之前的层
for layer in base_model.layers[:fine_tune_at]:
    layer.trainable = False

2. 如果想进一步避免BN层波动，可以在解冻时强制把所有BN层设为推理模式，冻结其统计量和内部权重：

for layer in base_model.layers:
    if isinstance(layer, tf.keras.layers.BatchNormalization):
        layer.trainable = False

修正后再启动微调，第一轮损失就会和迁移学习阶段的最终损失基本持平。

内容的提问来源于stack exchange，提问作者brad