多视角bounding boxes匹配:冰箱对置摄像头检测框对应关系求解
双视角摄像头跨视角目标框匹配方案咨询
基础部署情况
- 在冰箱上下隔层各安装1个相向朝向的摄像头,两路摄像头的独立图像流分别输入对应的目标检测器,由检测器独立输出各自视角下的bounding boxes
- 视图说明:左侧为经过y轴镜像处理的底部视角采集图像,右侧为顶部隔层摄像头的原采集图像
- 检测输出逻辑:两个视角的检测器各检测出2个bounding boxes,全场景总计4个检测结果;所有检测得到的bounding boxes会同步在两路图像上绘制,例如由顶部摄像头检测得到的ID为16的bounding box,会同时标注在底部摄像头的图像上,用于展示同一目标在两个视角下的像素位移差
核心待解决问题
已知因单目视角缺失深度信息,单路摄像头图像中的x, y坐标,在另一路摄像头的图像中可能对应多个像素位置,无法直接通过坐标匹配实现同一目标的跨视角关联。此前尝试的三类近似方案效果均不稳定:
- 无校准欧氏距离匹配:直接忽略两个摄像头的坐标系差异,计算目标框中心点的像素欧氏距离判断对应关系,结果波动大、准确率低
- 对极几何约束匹配:使用
Fundamental Matrix结合对极几何规则计算对应关系,但方案需要提前完成双目标定,操作流程繁琐,此前因标定操作不严谨,最终匹配效果远未达到预期 - 传统视觉特征匹配:通过边缘检测、关键点检测实现跨视角匹配,但由于两个视角的物体朝向差异大,边缘、轮廓、形状等特征差异明显,整体匹配效果很差
咨询诉求
- 适配当前的冰箱封闭小场景、无高精度标定的条件,有哪些鲁棒性更强的跨视角bounding box匹配方案?
- 有哪些可落地的参考技术方向可以复用?
内容的提问来源于stack exchange,提问作者hesampakdaman
相关产品推荐
相关产品推荐

