Keras冻结Conv_base迁移学习精度远低于预缓存特征训练的问题排查

我之前也碰到过类似的迁移学习精度反常问题，结合你用的Keras 2.1.6版本和MobileNet的特性，给你梳理几个关键的排查方向：

1. 输入归一化的一致性是核心 #

MobileNet对输入的要求很严格——官方预处理是把像素值缩放到**[-1, 1]区间**，这一点在两种方法里必须完全对齐：

• 检查方法A缓存特征时，输入是否做了正确的归一化？比如是不是误用了rescale=1./255（这是0-1区间），而方法B里用了preprocess_input的tf模式（对应[-1,1]）？
• 两种方法的ImageDataGenerator设置要完全一致，包括rescale、颜色空间转换等细节，特征分布差一点就会让FC层的适配效果天差地别。

2. 批量归一化（BN）层的行为坑 #

MobileNet里有大量BN层，这是最容易踩的坑！Keras 2.x中，即使你冻结了conv_base的权重，BN层的training状态默认还是会跟着模型训练走：

• 方法A用model.predict()缓存特征时，conv_base是推理模式（training=False），BN层用的是预训练好的滑动均值和方差；
• 方法B端到端训练时，如果没手动设置training=False，BN层会进入训练模式，用当前batch的均值方差计算，直接打乱预训练的特征分布！
• 修复方法很简单，在方法B中调用conv_base时显式指定：

  inputs = Input(shape=(224,224,3))
  x = conv_base(inputs, training=False)  # 强制BN层用推理模式
  x = GlobalAveragePooling2D()(x)
  # 后续全连接层逻辑
  

你已经确认权重没更新，但这个BN层的模式问题是独立于权重冻结的，一定要查！

3. 全连接层的训练配置要完全对齐 #

两种方法的FC层初始化、优化器、损失函数必须丝毫不差：

• 检查Dense层的初始化方式，比如方法A是不是用了kernel_initializer='he_normal'，而方法B用了默认的glorot_uniform？
• 优化器的参数（学习率、动量、衰减等）要完全一致，比如方法A用了lr=1e-3，方法B如果不小心设成1e-4，收敛速度会慢很多；
• 损失函数的设置也要一致，有没有在方法B中误加了分类权重，或者用了不同的损失计算方式？

4. 数据加载的细节不能忽略 #

即使没用到数据增强，数据加载的逻辑也要完全对齐：

• 两种方法的训练集/验证集划分必须完全相同，有没有可能方法A缓存特征时用了全部数据，训练FC层时又重新划分了？
• batch_size和shuffle设置要一致，批次大小会影响梯度更新的稳定性，而shuffle状态不同会导致模型看到的数据顺序不一样，影响收敛；
• 检查数据加载时的图像大小、通道顺序（比如RGB/BGR）是否一致，MobileNet要求的是RGB输入。

5. 预训练权重的加载要确认 #

虽然概率不高，但还是要确认两种方法加载的MobileNet权重完全相同：

• 检查MobileNet(weights='imagenet', include_top=False, input_shape=(224,224,3))这行代码在两个方法里是不是完全一样，有没有漏写weights='imagenet'导致用了随机初始化的权重？

6. 训练轮次的收敛差异 #

方法A只训练FC层，参数少，收敛快；方法B虽然冻结了conv_base，但整体模型的计算图更长，梯度传播路径远，收敛速度可能慢很多：

• 你说方法A训练10轮到75%，那方法B是不是也完整训练了10轮？如果方法B在10轮时还没收敛到最佳状态，精度自然会低。可以尝试多训练几轮，或者画一下验证精度的变化曲线，看是不是还在上升。

内容的提问来源于stack exchange，提问作者kawingkelvin