You need to enable JavaScript to run this app. 将深度重投影到原始网格:Blender深度点云逆相机矩阵变换无法对齐原物体
优惠活动
大模型
产品
解决方案
定价
更多

将深度重投影到原始网格:Blender深度点云逆相机矩阵变换无法对齐原物体

深度图转点云校准错误根因与修正

问题定位

点云错位是4个叠加代码错误共同导致,并非单一矩阵方向问题:

  • 内参索引读取交叉错位
  • 坐标变换方向反向
  • 相机坐标系轴向不匹配
  • 像素坐标原点偏移

逐点修正

内参读取错误

当前代码的内参取值完全错位:

# 错误写法
_fy, _fx = matrix_K[0][0], matrix_K[1][1]
_cy, _cx = matrix_K[0][2], matrix_K[1][2]

3x3相机内参的固定矩阵排布为:

[fx,  0,  cx]
[0,  fy,  cy]
[0,   0,   1]

正确读取逻辑:

_fx = matrix_K[0][0]
_fy = matrix_K[1][1]
_cx = matrix_K[0][2]
_cy = matrix_K[1][2]

坐标变换方向反向

当前代码对相机世界矩阵求逆的逻辑完全搞反:

  • camera.matrix_world的原生功能是将相机局部坐标系的点,转换到全局世界坐标系的4x4齐次矩阵,正好适配深度点云从相机系到世界系的转换需求
  • 求逆后的矩阵功能是将世界系的点转换到相机局部坐标系,方向完全相反,自然无法对齐原物体
    修正后无需对矩阵求逆,直接使用原矩阵即可。

相机坐标系轴向不匹配

Blender原生相机的局部坐标系规则:

  • 光轴朝向相机**-Z方向**(相机视线沿-Z轴向前)
  • 相机局部X轴指向画面右侧
  • 相机局部Y轴指向画面上方
    现有depth_to_cloud函数生成的点云默认采用OpenCV标准相机系:Z轴朝相机前方、Y轴指向画面下方,两者存在轴向符号差。
    修正后的点云计算公式:
# 原错误逻辑
ys, xs, zs = \
    (indices_y - cy) * depth / fy, \
    (indices_x - cx) * depth / fx, \
    depth
# 修正为匹配Blender相机轴向
indices_y = (_h - 1) - indices_y  # 匹配Blender图像左下角原点规则
ys = -(indices_y - cy) * depth / fy
xs = (indices_x - cx) * depth / fx
zs = -depth
points = np.concatenate([xs[..., np.newaxis], ys[..., np.newaxis], zs[..., np.newaxis]], axis=2)

变换效率优化

原有逐点做矩阵乘法的循环效率极低,可替换为矩阵批量运算:

world_transform = np.reshape(camera.matrix_world, [4, 4])
vertices = np.ones([exr_cloud.shape[0], 4], dtype=np.float32)
vertices[:, 0:3] = exr_cloud
vertices = (world_transform @ vertices.T).T
vertices = vertices[..., :3]

内容的提问来源于stack exchange,提问作者ratchet

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.16 08:15:10