如何用Open3D将PNG格式RGB图与TXT深度图合成为点云？

核心步骤与代码实现 #

1. 加载原始数据 #

先加载RGB图和深度图，注意深度单位转换（通常txt存储的深度值是毫米，需转成Open3D默认的米单位）：

import open3d as o3d
import numpy as np
from PIL import Image

# 加载RGB图并转成Open3D格式
rgb_img = Image.open("your_rgb.png")
rgb_np = np.array(rgb_img)
rgb_o3d = o3d.geometry.Image(rgb_np)

# 加载深度图（txt格式），转成米单位并转为float32类型
depth_np = np.loadtxt("your_depth.txt")
depth_np = depth_np / 1000.0  # 毫米转米，根据实际数据调整
depth_o3d = o3d.geometry.Image(depth_np.astype(np.float32))

2. 设置相机内参 #

内参是点云生成正确的关键，没有实际标定数据的话，可根据相机参数填写，或用默认值：

width, height = rgb_np.shape[1], rgb_np.shape[0]
# 示例内参，根据你的相机实际参数修改焦距、光心
fx = 500.0  
fy = 500.0
cx = width / 2.0
cy = height / 2.0

# 创建相机内参对象
intrinsic = o3d.camera.PinholeCameraIntrinsic(width, height, fx, fy, cx, cy)

3. 解决RGB与深度图未配准问题 #

未配准本质是RGB和深度图的坐标系不一致，需要构建外参变换矩阵（旋转+平移）对齐两者：

• 有标定板的话，可使用Open3D相机标定工具获取外参；
• 手动对齐的话，调整旋转矩阵R和平移向量t构建变换矩阵：

# 示例变换矩阵，根据实际配准结果修改
R = np.eye(3)  # 无旋转的单位矩阵，按需调整
t = np.array([0.0, 0.0, 0.0])  # 平移向量，单位米
# 拼接成4x4变换矩阵
extrinsic = np.hstack((R, t.reshape(3,1)))
extrinsic = np.vstack((extrinsic, [0,0,0,1]))

4. 生成并可视化点云 #

将对齐后的RGB和深度图合成带颜色的点云：

# 生成带颜色映射的点云
pcd = o3d.geometry.PointCloud.create_from_rgbd_image(
    o3d.geometry.RGBDImage.create_from_color_and_depth(rgb_o3d, depth_o3d),
    intrinsic,
    extrinsic=extrinsic,
    depth_scale=1.0,
    depth_trunc=10.0  # 截断距离，超过该值的点会被丢弃
)

# 可视化点云
o3d.visualization.draw_geometries([pcd])

# 保存为PCD格式
o3d.io.write_point_cloud("output.pcd", pcd)

常见问题排查 #

• 点云无法正常识别：检查深度图是否为float32类型，单位是否转成米；相机内参的焦距、光心是否与实际匹配；
• RGB颜色与深度错位：确认外参变换矩阵是否正确，或检查RGB和深度图的尺寸是否完全一致；
• 点云缺失部分：调整depth_trunc参数，确保深度值在合理的有效范围内。

内容的提问来源于stack exchange，提问作者Whisht