EfficientNet迁移学习在Eurosat-rgb数据集上训练不收敛问题咨询

• 核心问题为输入预处理不匹配：tf.keras.applications下不同系列的预训练模型对应独立的预处理逻辑，不可直接复用MobileNet的预处理代码。你需要调用tf.keras.applications.efficientnet.preprocess_input处理输入数据，该方法要求输入为原始0-255范围的像素值，若你提前将像素归一化到0-1或-1到1区间，会导致输入分布和预训练权重完全不匹配，特征提取模块输出无效特征，模型自然无法学习。
• 冻结主干阶段学习率适配错误：EfficientNet提取的特征分布与MobileNet存在差异，替换模型后需要调低分类头训练的学习率，建议调整到1e-4量级，避免学习率过大导致参数震荡无法收敛。
• 主干解冻逻辑不符合迁移学习规范：直接将model_base.trainable设置为True，会导致随机初始化的分类头的大梯度破坏预训练好的主干特征权重，出现训练集准确率上升、验证集准确率不涨的过拟合问题。正确操作顺序为：先冻结主干训练分类头至收敛，再解冻主干顶部20%-30%的层（无需全解冻），使用1e-5量级的小学习率做微调，既保留预训练的通用特征能力，又适配当前数据集的特有特征。
• 无需迁移学习直接训练可得到不错结果的现象，也可验证预处理问题：从头训练不需要匹配预训练权重的输入分布，无论使用什么预处理逻辑模型都可自行拟合分布，仅训练成本更高。

内容的提问来源于stack exchange，提问作者adrian beltran