基于内参外参矩阵的RGB坐标到深度坐标映射方法咨询

常规正向映射流程（深度→RGB） #

常规的深度坐标转RGB坐标流程为：

• 对深度坐标应用深度相机内参逆矩阵，得到深度相机坐标系下的3D点
• 使用旋转矩阵R和平移矩阵T，将深度相机的3D点转换至RGB相机的3D坐标系
• 应用RGB相机内参矩阵，得到对应的RGB图像坐标

反向映射的核心困惑（RGB→深度） #

需要实现反向流程：从RGB图像坐标映射到深度图像坐标，进而从深度图中获取插值后的深度值，但卡在了RGB图像坐标转3D坐标时的z值设置问题，预想的反向流程存在疑问：

• 通过RGB相机内参逆矩阵获取RGB 3D坐标时，z坐标该设为估算值还是统一设为1？
• 转换为深度3D坐标后应用深度相机内参矩阵是否可行？

正确的反向映射实现方案 #

预想的流程存在逻辑漏洞，直接给z设固定值或估算值无法得到准确的深度相机坐标，正确思路需结合相机外参逆变换与深度图信息推导：

步骤拆解 #

1. 构建RGB图像的射线方程
   对RGB图像上的任意像素点(u_rgb, v_rgb)，先通过RGB相机内参逆矩阵得到RGB相机坐标系下的单位方向向量：

   • 将像素坐标转换为归一化坐标：( (u_rgb - cx_rgb)/fx_rgb , (v_rgb - cy_rgb)/fy_rgb , 1 )，其中fx_rgb, fy_rgb为RGB相机焦距，cx_rgb, cy_rgb为主点坐标
   • 该向量是RGB相机光心指向像素对应空间点的方向，此时z设为1得到的是方向向量，而非实际3D点

2. 将射线转换至深度相机坐标系
   利用外参的逆变换（正向是深度→RGB用R,T，反向则用R⁻¹, -R⁻¹T），将RGB相机的方向向量转换到深度相机坐标系下，得到深度相机视角下的射线方向。

3. 匹配深度图的有效深度点
   深度图中每个像素(u_depth, v_depth)对应深度相机坐标系下的3D点，其z值为深度图中的深度值d。可通过两种方式完成映射：

   • 预建映射表：遍历深度图的有效深度点，将每个深度点通过正向流程映射到RGB图像，记录每个RGB像素对应的深度值（多对应点取最近值或加权值），后续直接查表插值
   • 实时射线投射：计算RGB射线在深度相机坐标系下的位置，采样深度图对应区域的深度值（需确保相机存在重叠区域）

关键提示 #

• 不能直接给RGB转3D时的z设固定值，因为RGB图像的每个像素对应一条空间射线，而非固定3D点，必须结合深度图的实际深度信息才能确定对应点

内容的提问来源于stack exchange，提问作者CristoJV