LiDAR数据目标检测求助：图像检测结果无法映射至LiDAR数据

1. 确认传感器标定参数 #

• 必须拿到相机与LiDAR的外参矩阵（包含旋转R和平移T），这个矩阵能把相机坐标系下的点转换到LiDAR坐标系。如果是自研采集设备，用Kalibr、Autoware标定工具完成手眼标定；如果是公开数据集，直接调用自带标定文件。
• 针对拼接后的360度图像，要确认单相机内参（焦距f、主点cx/cy）以及拼接时的投影模型（等距投影、立方体投影等），因为拼接图像的像素坐标需要先还原到原始单相机视角，再做坐标转换。

2. 图像检测框的3D空间投影 #

• 取检测框的四个角点（或中心点+宽高），将像素坐标转换为相机坐标系下的射线：
  以针孔相机模型为例，像素(u,v)对应的相机坐标系射线方向计算如下：

  x = (u - cx) / fx
  y = (v - cy) / fy
  z = 1
  

  若为360全景图像，需根据其投影模型做逆转换（比如等距投影先转单位球坐标，再转到相机坐标系）。
• 用外参矩阵将相机坐标系的射线转换到LiDAR坐标系，得到LiDAR空间中的射线方向向量。

3. LiDAR点云的筛选与匹配 #

• 沿转换后的射线方向，在LiDAR点云中筛选距离在合理范围的点（比如0-50米，根据场景调整）。
• 结合图像检测的目标类别辅助过滤点云：比如车辆点云高度集中在0.5-2米，行人点云高度在1-2米。
• 计算筛选后点云的包围盒作为LiDAR中目标的定位结果；如需更精确，用DBSCAN等聚类算法对筛选点云做聚类，得到完整的目标点云簇。

4. 常见问题排查 #

• 若映射偏差大，先验证外参矩阵：取相机拍到的地面点，转换到LiDAR后看是否与LiDAR地面点重合。
• 检查360图像拼接时的畸变是否彻底修正，残留畸变会导致像素到射线的转换错误。
• 图像中小目标对应的LiDAR点云可能稀疏，可结合检测置信度过滤低置信度目标的映射结果。

内容的提问来源于stack exchange，提问作者Ismaeil