预训练TensorFlow目标检测模型优化与TFLite导出问题咨询

我来帮你拆解这两个核心问题，结合TensorFlow Object Detection API的实践经验给你具体的解决方案：

从你的描述来看，训练损失“合理”但模型失效，大概率是训练配置、数据一致性或导出流程出了问题，按以下步骤排查：

1. 验证训练数据与标签的一致性 #

• 确保你的label_map.pbtxt完全包含原模型的90类+新类别，原有类别的ID必须和原COCO模型完全一致（比如原模型中car是ID=2，绝对不能修改），新类别用原模型未使用的ID（比如91）。
• 用官方工具可视化TFRecord文件，确认每个样本的标注框、类别ID都和label_map对应，没有标注错误或ID混淆。

2. 调整迁移学习的冻结策略 #

小数据集直接全量训练很容易破坏原模型的特征提取能力：

• 在pipeline配置文件中，设置fine_tune_checkpoint为原SSD MobileNet V2的预训练checkpoint（比如ssd_mobilenet_v2_coco_2018_03_29/model.ckpt），并设置fine_tune_checkpoint_type: "detection"，这样会自动冻结backbone的大部分层。
• 先只训练检测头部（几千步，比如5000-8000），观察损失稳定后，再解冻部分backbone层（比如前10层）微调几千步，避免模型遗忘原有特征。

3. 修正TFLite导出流程 #

用TF 2.x的官方工具替代toco（toco已被弃用）： #

1. 先导出SavedModel格式：

python export_tflite_ssd_graph.py \
  --pipeline_config_path=path/to/your/pipeline.config \
  --trained_checkpoint_prefix=path/to/train/model.ckpt-XXXX \
  --output_directory=path/to/exported_saved_model \
  --add_postprocessing_op=true

2. 再转换为TFLite：

import tensorflow as tf

converter = tf.lite.TFLiteConverter.from_saved_model("path/to/exported_saved_model/saved_model")
# 启用自定义操作，兼容SSD后处理
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS, tf.lite.OpsSet.SELECT_TF_OPS]
# 可选：加入量化优化（避免精度损失过大）
converter.optimizations = [tf.lite.Optimize.DEFAULT]

tflite_model = converter.convert()
with open("detect.tflite", "wb") as f:
    f.write(tflite_model)

3. 导出后先用tflite_runtime简单测试：加载模型输入一张已知车辆的图片，查看输出的检测框和类别是否合理，排除导出环节的问题。

4. 重新审视“合理损失” #

• 不要只看总损失，要拆分分类损失和定位损失，两者都要下降到稳定的低数值（比如分类损失<0.5，定位损失<1.0）才说明训练有效。
• 加入验证集监控mAP，如果训练集损失低但验证集mAP极低，说明过拟合，需要增加数据或加入正则化（比如dropout、L2正则）。

核心思路是不要替换原有类别，而是追加新类别，并在训练中保留原有类别的样本，避免模型遗忘：

1. 准备完整的label_map #

复制原COCO的90类label_map，在末尾追加你的新类别，示例：

# 原有90类...
item {
  id: 91
  name: 'rare_car'
}

⚠️ 绝对不能修改或删除原有类别的ID和名称，否则模型会丢失原有检测能力。

2. 准备混合训练数据 #

• 你的训练集必须包含：原有车辆类别的样本（至少几百张，从COCO数据集提取即可） + 你的新类别样本。
• 所有样本的类别ID必须和label_map严格对应，比如原有car用ID=2，新类别用ID=91。

3. 配置pipeline文件 #

• 在model部分设置num_classes: 91（原90+新增1）。
• 保持fine_tune_checkpoint指向原预训练模型，fine_tune_checkpoint_type: "detection"，让模型保留原有特征提取能力，只在头部新增对新类别的检测分支。
• 增加训练步数（比如15000-20000步），因为要同时学习原有类别和新类别，避免训练不充分。

4. 验证原有类别性能 #

训练过程中，要监控验证集的mAP，不仅看新类别的mAP，还要确认原有车辆类别的mAP没有大幅下降。如果原有类别性能下降明显，说明原有样本不足，需要补充更多原有类别的训练数据，或延长冻结backbone的训练时间。

• 导出TFLite时一定要启用SELECT_TF_OPS，否则SSD的后处理操作可能无法在tflite_runtime中运行。
• 小数据集微调时，避免使用过于激进的量化策略，优先用训练后量化（Post-training quantization），减少精度损失。
• 训练前先用原预训练模型测试你的测试集，确认能检测原有车辆，再进行微调，这样可以快速定位问题出在训练还是导出环节。

内容的提问来源于stack exchange，提问作者Aref