融合4个不同视角图像的3D bounding box预测精度校验及实现方案咨询

可选技术路径 #

• 几何一致性校验法：基于预先标定的4个视角相机的内外参数，将单视角预测得到的3D框重投影到其他三个视角的图像平面，对比重投影框与对应视角2D检测框的IoU数值，落在预设阈值范围内即可判定该视角预测结果可靠。四个视角的重投影误差都满足要求时，还可进一步融合多视角观测值，优化3D框的尺寸、位姿参数。
• 跨视角特征融合推理法：不单独对每个视角做预测，在特征层直接完成多视角信息融合。可通过Transformer架构的跨视角注意力模块，或是体素、隐式场的3D表示方法，将多视角2D特征映射到3D空间，直接输出全局统一的3D框，从推理源头降低单视角预测误差，不需要额外做后续单视角结果校验。
• 几何约束结果聚合法：如果已经拿到各视角独立输出的3D框结果，可基于多视图几何的对极约束、三角化约束，对多个3D框参数做聚类优化，保留重合度高、符合多视角几何关系的结果，过滤误检结果，输出全局一致3D框的同时，就能完成各单视角预测结果的准确性判定。
• 伪标签自监督校验法：没有标注数据的情况下，可将多视角融合后得到的高置信度3D框作为伪标签，反向比对每个单视角预测结果和伪标签的差异，差异超出阈值即可判定为单视角预测错误。

相关开源仓库推荐 #

• MV3D：经典的多视角3D目标检测框架，原生支持多视角图像与点云的融合检测，也可适配纯图像多视角输入，可直接复用其内置的重投影校验模块。
• PETR：基于Transformer的纯视觉多视角3D检测框架，不需要显式深度估计，通过3D位置编码即可实现跨视角特征到3D空间的映射，输出全局统一的3D框，天然适配4视角输入场景。
• 多视角拓展版MonoCon：原仓库为单目3D检测框架，社区拓展的多视角分支自带多视角结果校验模块，支持对单视角预测结果做多视图几何一致性校验，非常适配先判定单视角预测准确性的需求。
• NeRF-Det：基于神经辐射场的多视角3D检测框架，在完成场景隐式重建的同时输出3D检测结果，对多视角输入适配性好，输出的3D框精度较高，也可作为校验用的基准结果生成工具。

参考车辆多视角图像 #

内容的提问来源于stack exchange，提问作者Amit Vyas