Blender渲染的RGB/深度图在Open3D中与3D模型错位问题排查

基于带纹理与颜色信息的ShapeNetCore 3D模型，参考Blender深度渲染方案，从正十二面体顶点定义的20个预设相机视角，渲染.obj模型的RGB（.png格式）与深度（.exr格式）数据，同时保存相机内参cam_K和外参cam_RT。

后续在Open3D中，通过RGB图、深度图与cam_K生成相机坐标系下的点云，再通过cam_RT将其转换到世界坐标系，但发现不同视角的点云之间、以及点云与原模型采样点云均存在轻微错位。此前使用Intel RealSense采集的真实RGB-D数据未出现该问题，已提供相关模型、渲染结果及相机矩阵文件，寻求问题排查方向。

• 坐标系与外参格式校验

  • 确认Blender与Open3D的坐标系差异：Blender采用右手系且Y轴向上，Open3D默认右手系但轴序可能不同，需检查cam_RT是否做了正确的轴转换（如Y/Z轴互换、旋转方向反转）。
  • 检查cam_RT的存储顺序：Blender输出的矩阵可能是行优先，而Open3D预期列优先，需验证是否需要转置矩阵后再使用。

• 深度图数值校正

  • 确认.exr深度图的数值含义：Blender默认渲染的深度可能是归一化到[0,1]的相对值，需乘以相机远裁剪面距离得到真实线性深度；或是视锥体空间深度，需转换为相机坐标系下的Z值。
  • 统一单位匹配：RealSense深度为实际物理距离（如米），检查Blender渲染的深度是否与模型单位（米/厘米）一致，是否需要做缩放转换。

• 相机内参参数匹配

  • 校验焦距单位转换：Blender焦距单位多为毫米，需转换为像素焦距（公式：焦距(像素) = 焦距(毫米) * 图像宽度(像素) / 传感器宽度(毫米)），确保与Open3D使用的内参一致。
  • 确认主点准确性：检查cam_K中的主点(cx, cy)是否为图像中心，Blender渲染时是否存在镜头畸变、非中心裁剪等导致主点偏移的情况。

• 模型与相机空间对齐检查

  • 检查ShapeNet模型初始姿态：ShapeNet模型可能自带坐标系原点，需确认渲染前是否做了居中、归一化处理，若渲染时模型位置与原采样点云初始位置不一致，会导致错位。
  • 验证相机视角定义：正十二面体顶点定义的相机视角是否基于世界坐标系原点，检查Blender中相机位置计算是否存在偏移误差。

• Open3D点云生成逻辑校验

  • 检查相机坐标系点云生成代码：确认是否正确使用cam_K的逆矩阵，create_point_cloud_from_rgbd_image函数的深度单位是否与内参匹配。
  • 校验外参应用顺序：点云变换时需注意矩阵乘法顺序（点云是行向量还是列向量），确认是否先将相机坐标系点云做齐次变换，再乘以cam_RT矩阵。

内容的提问来源于stack exchange，提问作者Aditya