我目前用以下代码从深度图重建3D点，但得到的transformed_point处于局部坐标系中。已知相机的内参和外参，请问该怎么把这些点转换到全局坐标系？

def reconstruct3d(depth_map, camera_parameters):
    transformation = np.identity(4)
    image_width, image_height = 320, 240
    inv_intr = np.linalg.inv(camera_parameters)
    for v in range(0, image_height, 1):
        for u in range(0, image_width, 1):
            projected_point = np.array([u, v, 1])
            image_point = np.matmul(inv_intr, projected_point)
            x, y = (image_point[0] / image_point[2]), (image_point[1] / image_point[2])
            depth = depth_map[v, u]
            Z = depth
            Y = Z * y
            X = Z * x
            transformed_point = np.matmul(transformation, np.array([X, Y, Z, 1]))
            transformed_point = transformed_point / transformed_point[3]

嘿，这个问题其实很好解决——你当前代码里用的是单位变换矩阵（np.identity(4)），这相当于完全没做坐标系转换，所以重建出来的点一直停留在相机自身的局部坐标系里（也就是以相机光心为原点、光轴为Z轴的坐标系）。要把这些点转到全局坐标系，核心就是用上相机的外参矩阵，我给你一步步拆解：

1. 先搞懂相机外参的作用 #

相机外参是一个4x4的齐次变换矩阵，一般记为T_cam_to_world，它的核心功能就是把相机局部坐标系下的点，映射到全局坐标系中。这个矩阵包含两部分信息：

• 左上角3x3的旋转矩阵：描述相机在全局坐标系里的朝向
• 右上角3x1的平移向量：描述相机光心在全局坐标系中的位置

用公式表示就是：

P_world = T_cam_to_world × P_cam

其中P_cam是你代码里重建出来的[X,Y,Z,1]（齐次坐标形式的局部点），P_world就是我们要的全局坐标系点。

2. 修改你的代码 #

只需要把原来的单位矩阵替换成相机的外参矩阵就行。我给你调整后的代码：

def reconstruct3d(depth_map, camera_intrinsics, camera_extrinsics):
    # 把单位矩阵换成相机外参（相机→全局的变换矩阵）
    transformation = camera_extrinsics
    image_width, image_height = 320, 240
    inv_intr = np.linalg.inv(camera_intrinsics)
    for v in range(0, image_height, 1):
        for u in range(0, image_width, 1):
            projected_point = np.array([u, v, 1])
            image_point = np.matmul(inv_intr, projected_point)
            x, y = (image_point[0] / image_point[2]), (image_point[1] / image_point[2])
            depth = depth_map[v, u]
            Z = depth
            Y = Z * y
            X = Z * x
            # 用外参做坐标系转换
            transformed_point = np.matmul(transformation, np.array([X, Y, Z, 1]))
            transformed_point = transformed_point / transformed_point[3]
            # 现在transformed_point就是全局坐标系下的3D点了

3. 几个要注意的细节 #

• 确认外参的变换方向：有些场景里，外参可能是T_world_to_cam（全局→相机的变换矩阵），这时候你得先求逆，得到T_cam_to_world = np.linalg.inv(T_world_to_cam)再用，不然转换方向会反过来。
• 齐次坐标归一化：你代码里最后一步transformed_point / transformed_point[3]做得很对，因为齐次变换后第四个分量可能不是1，归一化后才能得到正确的笛卡尔坐标。
• 矩阵维度要对：确保camera_extrinsics是4x4的矩阵，[X,Y,Z,1]是4维的向量（numpy会自动处理行/列向量的乘法顺序，但最好提前确认矩阵维度匹配）。

举个直观的例子：如果相机在全局坐标系里的位置是(1,2,3)，而且朝向和全局坐标系完全一致，那外参矩阵就是：

[[1, 0, 0, 1],
 [0, 1, 0, 2],
 [0, 0, 1, 3],
 [0, 0, 0, 1]]

用这个矩阵转换后，相机局部原点(0,0,0)就会变成全局坐标系里的(1,2,3)，完全符合我们的预期。

内容的提问来源于stack exchange，提问作者Mr. Randy Tom