使用DeepSort跟踪Mask R-CNN分割细胞时出现图像块提取失败警告的问题

核心原因分析 #

• 极小边界框无法满足特征提取要求：DeepSort依靠CNN提取目标外观特征完成跟踪匹配，而CNN需要一定尺寸的输入图像。你提供的警告中，多数问题框的高度仅为1、宽度在3-6之间，远小于特征提取模型（如ResNet）要求的最小输入尺寸，导致无法生成有效特征，跟踪器无法对这些细胞进行匹配跟踪。
• 边界框超出图像范围：部分框的xmin为0或接近图像宽度（如1160），尝试裁剪图像补丁时，xmin与宽度的和会超出图像实际宽度范围，系统无法提取有效区域，同样会导致特征提取失败，进而丢失跟踪目标。

针对性解决方法 #

• 过滤极小检测框：在将Mask R-CNN的检测结果传入DeepSort前，添加过滤逻辑，设置最小宽高阈值（比如width≥8且height≥8，可根据你的细胞实际大小调整），直接跳过尺寸过小的框，避免无效的特征提取操作。
• 修正越界边界框：对检测框进行边界校验与修正，确保：
  • xmin ≥ 0
  • xmin + width ≤ 图像宽度
  • ymin ≥ 0
  • ymin + height ≤ 图像高度
    对于越界的框，要么调整宽高使其完全落在图像内，要么直接过滤掉。
• 适配小目标的特征提取：如果必须跟踪这些极小细胞，可以修改DeepSort的特征提取预处理代码，将小尺寸补丁通过插值放大到模型要求的输入尺寸（如224x224），不过这种方式可能引入图像噪声，需要测试跟踪效果是否符合预期。

内容的提问来源于stack exchange，提问作者setzin