将深度重投影到原始网格:Blender深度点云逆相机矩阵变换无法对齐原物体
深度图转点云校准错误根因与修正
问题定位
点云错位是4个叠加代码错误共同导致,并非单一矩阵方向问题:
- 内参索引读取交叉错位
- 坐标变换方向反向
- 相机坐标系轴向不匹配
- 像素坐标原点偏移
逐点修正
内参读取错误
当前代码的内参取值完全错位:
# 错误写法 _fy, _fx = matrix_K[0][0], matrix_K[1][1] _cy, _cx = matrix_K[0][2], matrix_K[1][2]
3x3相机内参的固定矩阵排布为:
[fx, 0, cx] [0, fy, cy] [0, 0, 1]
正确读取逻辑:
_fx = matrix_K[0][0] _fy = matrix_K[1][1] _cx = matrix_K[0][2] _cy = matrix_K[1][2]
坐标变换方向反向
当前代码对相机世界矩阵求逆的逻辑完全搞反:
camera.matrix_world的原生功能是将相机局部坐标系的点,转换到全局世界坐标系的4x4齐次矩阵,正好适配深度点云从相机系到世界系的转换需求- 求逆后的矩阵功能是将世界系的点转换到相机局部坐标系,方向完全相反,自然无法对齐原物体
修正后无需对矩阵求逆,直接使用原矩阵即可。
相机坐标系轴向不匹配
Blender原生相机的局部坐标系规则:
- 光轴朝向相机**-Z方向**(相机视线沿-Z轴向前)
- 相机局部X轴指向画面右侧
- 相机局部Y轴指向画面上方
现有depth_to_cloud函数生成的点云默认采用OpenCV标准相机系:Z轴朝相机前方、Y轴指向画面下方,两者存在轴向符号差。
修正后的点云计算公式:
# 原错误逻辑 ys, xs, zs = \ (indices_y - cy) * depth / fy, \ (indices_x - cx) * depth / fx, \ depth # 修正为匹配Blender相机轴向 indices_y = (_h - 1) - indices_y # 匹配Blender图像左下角原点规则 ys = -(indices_y - cy) * depth / fy xs = (indices_x - cx) * depth / fx zs = -depth points = np.concatenate([xs[..., np.newaxis], ys[..., np.newaxis], zs[..., np.newaxis]], axis=2)
变换效率优化
原有逐点做矩阵乘法的循环效率极低,可替换为矩阵批量运算:
world_transform = np.reshape(camera.matrix_world, [4, 4]) vertices = np.ones([exr_cloud.shape[0], 4], dtype=np.float32) vertices[:, 0:3] = exr_cloud vertices = (world_transform @ vertices.T).T vertices = vertices[..., :3]
内容的提问来源于stack exchange,提问作者ratchet
相关产品推荐
相关产品推荐

