TF2 TensorFlow Hub重训练图像分类模型准确率骤降问题排查

核心底层逻辑是迁移学习场景下的灾难性遗忘+数据分布偏移：make_image_classifier默认基于ImageNet预训练权重做迁移训练，预训练权重里编码的通用图像特征是模型效果的基础，一旦训练过程中数据分布大幅偏离预训练分布、或者学习率过大导致权重更新步长失控，模型会快速丢失之前学到的通用特征映射，表现为训练到中期指标断崖式下跌。
常见直接诱发原因包括：

• 采样偏差导致数据分布严重扭曲：你新增的所有数据都是原模型预测错误的难例，并非从实际应用场景随机采样的代表性样本，一次性加入2倍于原数据集的难例，直接把训练集的分布从「覆盖全场景的通用样本」扭转为「仅覆盖模型易错的边缘场景」，模型为了拟合这些占比过高的边缘样本，会直接覆盖之前学到的通用分类决策边界。
• 学习率与训练阶段不匹配：make_image_classifier默认学习率是针对小数据集下冻结主干网络、仅训练分类头的场景设置的，当你加入大量新数据时，如果工具默认开启了主干网络微调，过大的学习率会直接破坏预训练权重中已经收敛的通用特征参数，前2个epoch靠预训练老本维持指标，到第3个epoch权重被改到失控，指标就会持续下滑。
• 预处理逻辑不匹配：你后续清洗数据（去白边、去噪、去伪影）后效果进一步下跌，几乎可以确定是清洗后的图像预处理逻辑和预训练模型的输入要求不匹配——比如输入尺寸、像素归一化范围、色彩通道顺序、插值方式和预训练时的规范不一致，相当于喂给模型的是和训练分布完全无关的数据，不管怎么训都不可能有好效果。
• 标签噪声放大：你本身数据集中就有1-5%的多归属模糊样本，在标注难例的过程中如果没有严格统一的标注规则，新增数据的标签错误率很容易超过10%，当错误标签样本占比过高时，模型会学到错误的特征-标签映射，直接导致训练崩溃。

不要每次从ImageNet预训练权重从头训练，按以下步骤执行即可避免灾难性遗忘：

• 留存首次训练中验证准确率最高（Epoch4 85%准确率）的模型 checkpoint 作为增量训练的基底，不要丢弃训练过程中的中间权重。
• 第一阶段训练：加载基底模型，冻结所有主干特征提取层的权重，仅保留最后一层分类头可训练，使用原默认学习率的1/10（通常为1e-4量级），在「原常规样本+15%_{20%占比的新增反馈难例」的混合数据集上训练5}8个epoch，这一步不会改动主干的通用特征权重，仅调整分类头适配新的样本分布，不会出现遗忘问题。注意不要一次性把所有难例全加进去，难例总占比不要超过训练集的10%，剩余难例分批在后续增量轮次加入。
• 第二阶段微调：等第一阶段训练的验证准确率稳定不再上涨后，再解冻主干网络最顶部的2_{3层，使用`1e-5`量级的极小学习率微调3}5个epoch即可，不要解冻过多主干层，也不要训练过多轮次。
• 调用make_image_classifier时，通过--saved_model_dir参数指定你留存的基底模型路径，不要使用默认的从TF Hub拉取预训练权重的模式，同时先设置--train_whole_model=False保证第一阶段主干被冻结。

• 数据集规则调整：重复图像直接全部去重，仅保留1份；多归属的模糊样本要么单独设立“模糊/不确定”类别，要么制定明确的排他性标注规则，杜绝同一张图在不同数据集split中标注不一致的问题；新增反馈难例必须搭配对应类别的常规普通样本混合，不要单独用难例组成批次训练。
• 预处理校验：所有图像清洗操作完成后，必须对齐预训练模型的输入规范：输入尺寸、像素值归一化范围（是归一化到0_1还是-11）、通道顺序（RGB/BGR）、resize插值算法必须和预训练时的要求完全一致，正式全量训练前先拿100张标注正确的小样本子集做试训，确保1个epoch内训练准确率能冲到90%以上再启动全量训练，排除预处理错误。
• 训练策略优化：开启早停机制，监控验证集准确率，连续2个epoch验证准确率不上升就直接终止训练，取验证准确率最高的checkpoint作为最终模型，不要硬训满固定轮次（你第一次训练Epoch5就已经出现过拟合下跌，当时就应该取Epoch4的权重）；加入学习率衰减策略，每2个epoch将学习率降低一半，避免训练后期权重更新步长过大破坏收敛的参数。
• 效果异常排查：如果再次出现训练准确率不足0.5的情况，首先排查标签是否对应正确、预处理是否符合要求，这两个问题占这类崩溃场景的90%以上，不要先盲目调整模型结构或者超参数。

内容的提问来源于stack exchange，提问作者t_k