自定义训练40x40px图像的MobilenetV2后分类结果异常求助

刚上手TF-Slim遇到这种训练卡壳、模型“躺平”只预测background的情况太正常了，咱们从数据集、模型配置到训练流程一步步拆解问题：

一、先揪出最可能的元凶：数据集问题 #

1. 类别极度不平衡 #

如果你的background类样本数量远多于其他4类（比如占比超过70%），模型会直接“偷懒”预测background来拿到看似不错的准确率，这是这类问题最常见的原因。

• 先统计下训练集/验证集里每个类别的样本数：写个简单的Python脚本遍历数据集目录，数清楚每个类别的文件数量。
• 解决办法：
  • 补充其他4类的样本，尽量让类别分布相对均衡；
  • 对background类做下采样：随机删掉一部分background样本，缩小它的占比；
  • 训练时给类别加权重：在损失函数中给样本少的类别设置更高的权重，TF-Slim可以通过自定义损失函数或者传入class_weight参数实现。

2. 数据集标注/TFRecord正确性 #

检查你生成的TFRecord是不是把很多目标类样本错误标成了background？或者background里混进了大量目标类图像？

• 写个小脚本读取TFRecord，随机抽取10-20个样本，打印标签并显示图像，确认标签和图像对应无误。

3. Background类的定义合理性 #

你说background是用于误检，那这些样本是不是真的和4类目标差异明显？如果background里有很多和目标类相似的图像，模型根本没法区分开。

二、模型与训练参数的优化 #

1. 预处理逻辑不匹配 #

你把输入尺寸改成了40x40，但用了inception_v2的预处理——InceptionV2的预处理是针对299x299图像设计的，裁剪、归一化逻辑不适合小尺寸图像，会破坏特征。

• 训练时把--preprocessing_name改成mobilenet_v2，或者直接去掉这个参数，让TF-Slim自动匹配MobilenetV2的预处理逻辑。

2. 学习率与训练步数的问题 #

你的初始学习率0.045对于40x40的小模型来说可能太高了，导致模型在最优解附近震荡，没法继续收敛。另外800k步看起来多，但要看你的总样本数：

• 先把初始学习率降到0.001试试，或者添加学习率warmup（先从0.0001开始，逐步升到目标学习率）；
• 查看训练日志里的训练集准确率：如果训练集准确率也低，说明模型欠拟合；如果训练集准确率高但验证集低，是过拟合，此时要减小模型容量或者加正则化。

3. 模型容量与输入尺寸 #

MobilenetV2原本是为224x224输入设计的，40x40的输入会让很多卷积层输出变成1x1，丢失大量空间特征，模型根本学不到足够的区分信息：

• 先把输入尺寸改成128x128或者224x224，同时同步修改mobilenet.default_image_size和训练/导出命令里的--image_size参数；
• 调整depth_multiplier：如果数据集小，试试depth_multiplier=0.5缩小模型容量，避免过拟合；如果数据集足够，用1.0甚至1.4提升容量。

4. 损失函数的调整 #

你用了--label_smoothing 0.1，这个在小数据集上可能会增加模型收敛的难度，尤其是类别不平衡的时候，先去掉这个参数，看看损失能不能继续下降。

三、评估与导出环节的验证 #

1. 深入分析评估结果 #

别只看eval/Recall_5和eval/Accuracy，生成混淆矩阵才能清楚模型的预测分布：

• 写个脚本加载验证集的图像和标签，用训练好的模型做预测，统计每个类别的真实标签和预测标签的对应情况，就能看到是不是绝大多数样本都被预测成了background。

2. 冻结图与测试的正确性 #

检查导出和测试环节的细节：

• 用TensorBoard打开冻结图，确认输入节点是input:0（而非input），输出节点MobilenetV2/Predictions/Reshape_1是否正确；
• 确保测试时的图像预处理和训练时完全一致：比如训练时做了[-1,1]的归一化，测试时也要做同样的处理，label_image.py里的预处理逻辑要和训练时的预处理对齐。

四、其他细节排查 #

• TF版本兼容性：TensorFlow 1.15.3比较老，检查mobilenet_v2.py里最后一层的输出维度是不是确实设成了5，有没有因为版本bug导致num_classes没生效；
• 训练日志的异常：仔细看训练时的日志，有没有出现梯度NaN、梯度值极小（比如1e-6以下）的情况，如果有，说明梯度消失/爆炸，需要调整初始化方法或者添加梯度裁剪。

内容的提问来源于stack exchange，提问作者Robin D.