3D深度相机拍摄边缘物体的顶部面积几何校正方法问询

问题背景 #

• 研究目标：利用顶视3D深度相机计算物体顶部真实面积
• 现有工作流程：
  1. 以顶视角拍摄物体的RGB图像与深度数据
  2. 对RGB图像执行实例分割
  3. 基于深度数据计算分割掩码对应的面积
• 核心问题：边缘物体的侧面会被相机捕捉，导致分割掩码包含非顶部区域，计算面积偏大；曾尝试通过镜头中心到地面中心的向量、到物体重心的向量夹角做校正，但无法确定合理的校正系数

可行几何校正方法 #

1. 基于3D点云的顶部区域筛选+投影计算 #

• 操作步骤：
  1. 利用相机内参（焦距、主点坐标）和深度数据，将分割掩码内的每个像素反投影到3D世界坐标系，得到物体的点云数据
  2. 计算点云中每个点的法线向量（可通过邻域点拟合平面或深度图梯度推导）
  3. 筛选出法线向量与相机光轴（顶视场景下为垂直地面方向）夹角小于设定阈值（如15°）的点——这类点属于物体顶部平面区域
  4. 对筛选后的3D点做凸包拟合，计算其在地面平面上的投影面积，即为物体顶部的真实面积

2. 基于地面平面约束的高度过滤法 #

• 操作步骤：
  1. 用深度数据中无物体的区域拟合出场景的地面平面
  2. 计算分割掩码内每个3D点到地面平面的垂直距离，结合物体高度先验（若已知），筛选出距离等于物体顶部高度的点；若高度未知，可通过点云的高度分布峰值确定顶部高度区间
  3. 对筛选出的顶部点，计算其在地面平面的投影面积

3. 夹角校正系数的几何推导优化 #

• 若假设物体顶部为平行于地面的平面，可推导校正系数：
  • 设镜头中心到地面中心的向量为$\vec{v_1}$（垂直向下），镜头到物体重心的向量为$\vec{v_2}$，两向量夹角为$\theta$
  • 真实顶部面积$S_{real}$与掩码计算面积$S_{mask}$的关系为：$S_{real} = S_{mask} \times \cos^2\theta$
  • 推导逻辑：掩码面积是顶部平面在成像面的投影，因视角倾斜导致的投影缩放因子为$\cos\theta$，两次投影（3D平面到成像面）的总缩放系数为$\cos^2\theta$

注意事项 #

• 若物体顶部非平面，需先结合法线与高度数据做平面分割，再分别计算各平面的投影面积后求和
• 深度数据噪声会影响法线、高度计算的准确性，需先对深度图做滤波处理（如高斯滤波、双边滤波）

内容的提问来源于stack exchange，提问作者윤도현