Mask R-CNN训练时部分类别仅含边界框无掩码的方案咨询

你完全不需要拆分数据集分别训练Faster R-CNN与Mask R-CNN两个独立模型，单个经过小幅改造的Mask R-CNN就能覆盖全部三类缺陷的检测需求，相比双模型方案还能节省训练、部署的算力开销，实际检测精度通常也更优。

Mask R-CNN本身就是在Faster R-CNN的架构基础上额外增加了掩码分割分支，边界框检测、实例分割两个任务天然共享主干网络（Backbone）、区域建议网络（RPN）提取的通用特征，只需要微调训练和推理的损失计算、输出逻辑就能适配你的场景：

• 训练环节：分类分支、边界框回归分支对三类缺陷的所有标注数据正常计算损失，保证三类缺陷的检测、分类精度；掩码分支仅在处理带分割掩码的两类缺陷样本时计算损失并反向传播，遇到只有边界框标注的第三类缺陷时，直接跳过该样本在掩码分支的损失计算即可，不会对模型收敛造成负面影响。
• 推理环节：对前两类带掩码标注的缺陷，正常输出边界框+分割掩码结果；对第三类仅需要边界框的缺陷，直接丢弃掩码分支的输出，只保留分类结果和边界框坐标即可，完全匹配你的输出要求。

• 不要因为第三类缺陷没有分割掩码，就把这类样本从训练流程里剔除，它的边界框标注必须正常送入分类、检测框回归分支计算损失，否则会导致第三类缺陷的检测召回率、精度大幅下降。
• 如果第三类缺陷的样本量和另外两类差距超过3倍，可以在计算检测分支损失时给第三类适当增加权重，缓解类别不平衡带来的精度偏差问题。
• 这种混合标注训练的方案是工业缺陷检测场景的常用做法，多类别共享特征提取层能让模型学到更通用的缺陷视觉特征，泛化性通常好于拆分两个独立模型的方案。

内容的提问来源于stack exchange，提问作者thzu