Mask RCNN无法识别紧密相邻堆叠扑克筹码 调优及替代方案咨询

Mask RCNN 可调整的模型属性 #

• RPN模块优化：调整配置项RPN_NMS_THRESHOLD，将RPN阶段的NMS IoU阈值从默认的0.7上调至0.85_{0.9，避免相邻筹码的候选框被提前过滤；锚框尺度匹配单个筹码的实际像素尺寸，新增对应小尺度锚框、缩小锚点步长，减少多个筹码落入同一个锚点感受野的情况；适当下调RPN正样本判定的IoU阈值至0.5}0.6，避免紧邻的筹码样本被误判为负样本。
• 后处理逻辑优化：将检测头最终输出阶段的传统硬NMS替换为Soft-NMS或DIoU-NMS，对重叠度高的检测框采用置信度衰减策略而非直接删除，适配高重叠目标场景；调整配置项DETECTIONS_PER_IMAGE，根据单张图内筹码的最大可能数量，将单图检测数上限从默认值100上调至200~300，避免数量阈值限制导致漏检。
• 掩码分支优化：调整配置项MASK_RESOLUTION，将掩码分支的输出分辨率从默认的2828提升至5656，增强边缘细节的分割能力；在掩码损失中增加边界加权项，给筹码相邻的边缘区域分配更高的损失权重，引导模型重点学习相邻目标的边界差异，避免掩码将多个紧邻筹码糊成单个实例。

针对性训练策略调整 #

• 数据与标注优化：标注时严格沿每个筹码的实际可见轮廓标注，既不要将被遮挡的区域划入标注范围，也不要漏标仅露出小部分边缘的半遮挡筹码；数据增强阶段新增随机堆叠仿真、随机局部遮挡类增强，可额外合成不同堆叠角度、不同遮挡比例的筹码训练样本，提升模型对堆叠场景的适配性。
• 损失函数调整：将分类分支的交叉熵损失替换为Focal Loss，缓解密集场景下正负样本极度不均衡的问题；边界框回归损失替换为DIoU Loss，提升高重叠框的回归精度；可新增实例对比学习辅助损失，拉大相邻同类别筹码的特征距离，减少同类别紧邻目标的特征混淆。
• 训练流程优化：适当提高训练输入分辨率，例如将输入短边从常规的800像素提升至1024~1280像素，保证紧邻的筹码有足够的像素信息供模型识别；微调初期优先用密集堆叠场景的小批量样本训练，不要混入过多松散摆放的简单样本，避免模型偏向学习简单场景特征。

适配密集场景的替代模型方案 #

• 端到端无NMS实例分割模型：优先选择Mask2Former、SparseInst这类基于查询的端到端模型，这类模型不存在NMS过滤重叠目标的天生缺陷，通过掩码注意力机制直接输出独立实例，对密集排列同类别目标的区分能力显著优于原生Mask RCNN。
• 密集场景专项优化模型：可选择带集合NMS优化的CrowdDet实例分割版本、SOLOv2，或是YOLOv8-seg这类无锚框/少锚框的分割模型，这类模型对密集小目标的检测做了专项优化，训练和推理速度也快于两阶段的Mask RCNN，适配形状规则、尺寸均匀的扑克筹码场景。
• 中心点式实例分割模型：如果堆叠遮挡比例极高，可选择CenterMask这类基于中心点预测的无锚框分割模型，通过每个实例唯一的中心点区分不同目标，完全规避锚框、检测框重叠带来的判定混淆，对规整形状的密集目标适配性极强。

内容的提问来源于stack exchange，提问作者ANN