TensorFlow Object Detection API训练Mask RCNN时mAP极低问题求助

根据你描述的情况，我之前在使用TensorFlow Object Detection API（TFOD）训练Mask RCNN时也遇到过几乎一模一样的问题，结合你的细节，大概率是以下几个核心原因导致的，咱们一个个理清楚：

1. Mask标签数据的格式/映射错误 #

TFOD的Mask RCNN对mask标签的要求非常严格，必须是实例级的二值mask，而且每个mask要和对应的bbox实例一一对应。

• 如果你的数据集里mask是语义分割格式（比如所有病灶用同一个灰度值标记），或者mask的实例ID和bbox的ID没有对齐，TFOD的mask分支根本无法获取有效训练信号，自然mask_loss一直为0。
• 对比Matterport的实现，它对mask的处理更灵活，可能自动帮你做了实例映射，但TFOD的legacy pipeline几乎没有容错性。你可以通过解析tf.record文件，检查每个样本的mask字段，确认每个bbox对应的mask是不是正确的二值图。

2. 配置文件中Mask分支的参数配置错误 #

这是最容易踩的坑，尤其是新手刚接触TFOD的配置：

• 检查mask_rcnn_box_predictor部分的mask_height和mask_width，这两个值必须和你输入的mask尺寸完全匹配。如果尺寸不匹配，模型会直接跳过mask分支的损失计算。
• 查看losses配置块里的mask_loss_weight，是不是被误设为0了？虽然总损失会收敛，但如果mask_loss的权重为0，模型完全不会优化mask分支，甚至会连带影响box classifier的学习效果，导致预测框完全偏离目标。
• 另外，如果你加了数据增强，要确认增强操作同步应用到了图像和mask上。比如随机裁剪、翻转时，如果只处理图像不处理mask，mask会和图像完全错位，mask分支自然学不到任何有用特征。

3. Legacy训练脚本的兼容性问题 #

你用的legacy/train.py是TFOD早期版本的遗留脚本，对Mask RCNN的支持有很多隐藏bug：

• 它可能没有正确加载mask分支的变量，或者在损失反向传播时跳过了mask_loss的计算逻辑。我之前就是因为用了这个脚本，导致mask分支完全没被激活，换成官方推荐的训练脚本后立刻解决了问题。
• 如果你用的是TF2.x版本，建议直接换成model_main_tf2.py；如果是TF1.x，也尽量用非legacy的训练入口，避免遗留脚本的兼容性问题。

4. 数据集标注与类别映射问题 #

虽然Faster RCNN能跑出0.28的mAP，但Mask RCNN对标注精度的要求更高：

• 如果你的bbox标注太粗糙，或者mask的边缘和bbox完全不重合，TFOD的mask分支会无法学习到有效的特征，进而影响整个检测头的性能。
• 检查你的label_map.pbtxt文件，确认类别ID是从1开始的（TFOD不允许0作为有效类别）。如果你的数据集只有1类（肺癌病灶），类别ID必须设为1，否则模型会认为没有正样本，mask_loss和检测精度都会异常。

5. 预训练权重的加载问题 #

TFOD的Mask RCNN需要对应完整的预训练权重：

• 如果你误用了Faster RCNN的预训练权重，mask分支的参数是随机初始化的，很难在少量轮次内收敛。必须使用针对COCO数据集训练的完整Mask RCNN预训练权重。
• 同时检查配置文件里的fine_tune_checkpoint_type，是不是设为了detection？如果设成了classification，mask分支的权重不会被加载，只能从头随机训练，自然无法学到有效特征。

你可以优先从检查label_map.pbtxt和tf.record里的mask数据入手，然后尝试更换非legacy的训练脚本——我之前就是这么解决的，换脚本后mask_loss很快就开始下降，mAP也逐渐达标了。

内容的提问来源于stack exchange，提问作者Kannan K