Keras预训练模型迁移学习实操及冻结层后准确率骤降问题咨询

这种准确率的大幅差异是合理的，可能的原因包括以下几点：

• 数据集与预训练数据集的分布差异过大
  VGG16的预训练权重基于ImageNet数据集生成，学到的是通用自然图像的特征。如果自有数据集属于ImageNet未覆盖的场景（如医学影像、工业缺陷影像、特殊波段成像等），冻结VGG16主干网络后，相当于用适配通用自然图像的特征提取器处理完全不同分布的输入，输出的特征无法表征自有数据的核心区分度，仅靠少量参数的分类头无法完成分类任务。而放开全网络微调时，主干网络可以根据自有数据调整特征提取逻辑，拟合效果自然更好。
• 分类头容量不足
  当前使用的分类头仅为全局平均池化后接两层128、64维的全连接层，整体参数量极小。在主干网络冻结的前提下，全部的拟合压力都集中在分类头上，若分类任务本身存在一定复杂度，小容量的分类头不足以学习特征到分类结果的映射关系，自然会出现准确率极低的情况。
• 训练配置适配性问题
  如果冻结主干网络后仍使用和全量微调完全一致的训练配置（如学习率、训练轮数），也会导致效果变差：随机初始化的分类头需要更大的初始学习率快速收敛，同时也需要足够的训练轮次完成拟合，若训练轮次设置过短，分类头还未收敛就停止训练，也会出现准确率不足的问题。另外需要注意冻结主干网络后必须重新调用model.compile()更新可训练参数配置，否则Keras不会生效冻结逻辑，也会引发训练异常。

内容的提问来源于stack exchange，提问作者PCG