如何将Intel RealSense数据正确转换为Open3D PointCloud点云对象

• 类型报错原因：o3d.t.io.RSBagReader 属于Open3D的张量（Tensor）API接口，读取返回的rgbd_image是o3d.t.geometry.RGBDImage类型，而你调用的o3d.geometry.PointCloud.create_from_rgbd_image是传统（Legacy）API接口，仅支持传入o3d.geometry.RGBDImage类型，两者类型不兼容因此触发报错。
• 点云畸变原因：
  1. 直接使用PrimeSenseDefault通用内参与RealSense设备实际内参不匹配，导致投影计算误差
  2. 未对深度帧和彩色帧做对齐处理，两个相机的视差会导致点云错位
  3. 未正确配置深度缩放系数，RealSense原始深度值默认以毫米为单位，Open3D默认参数下单位转换错误会导致点云尺度畸变
  4. 未过滤无效深度值，超出传感器量程的噪点会干扰点云结构
  5. RealSense默认坐标系与Open3D可视化坐标系不一致，未做坐标系转换的情况下会出现点云翻转、视角异常的问题

方案1：直接使用张量API（推荐，无需格式转换） #

import open3d as o3d

# 读取bag文件
bag_reader = o3d.t.io.RSBagReader()
bag_reader.open("structured.bag")
# 从文件元数据读取实际内参，不要使用通用默认参数
metadata = bag_reader.metadata
intrinsics = o3d.core.Tensor(metadata.intrinsics.intrinsic_matrix, dtype=o3d.core.Dtype.Float32)

# 逐帧处理，此处仅演示第一帧
if not bag_reader.is_eof():
    rgbd_frame = bag_reader.next_frame()
    # 对齐深度帧与彩色帧，消除视差
    rgbd_frame = rgbd_frame.align_depth_to_color()
    
    # 直接从张量格式RGBD生成点云
    pcd = o3d.t.geometry.PointCloud.create_from_rgbd_image(
        rgbd_frame,
        intrinsics,
        depth_scale=1000.0,  # RealSense深度值单位为毫米，转换为米需除以1000
        depth_max=3.0  # 过滤超出量程的无效深度点，可根据设备实际量程调整
    )
    
    # 可视化，如需转换为传统格式点云调用to_legacy()即可
    o3d.visualization.draw_geometries([pcd.to_legacy()])

bag_reader.close()

方案2：使用传统API实现 #

import open3d as o3d
import numpy as np

bag_reader = o3d.t.io.RSBagReader()
bag_reader.open("structured.bag")
metadata = bag_reader.metadata
# 提取实际内参转换为传统API支持的格式
intrinsic = o3d.camera.PinholeCameraIntrinsic(
    metadata.width, metadata.height,
    metadata.intrinsics.fx, metadata.intrinsics.fy,
    metadata.intrinsics.cx, metadata.intrinsics.cy
)

# 读取并对齐帧
rgbd_frame = bag_reader.next_frame().align_depth_to_color()
# 转换为numpy数组
raw_rgb = np.asarray(rgbd_frame.color.to_legacy())
raw_depth = np.asarray(rgbd_frame.depth.to_legacy())

# 生成RGBD图像时配置正确参数
rgbd_image = o3d.geometry.RGBDImage.create_from_color_and_depth(
    o3d.geometry.Image(raw_rgb),
    o3d.geometry.Image(raw_depth),
    depth_scale=1000.0,
    depth_trunc=3.0,
    convert_rgb_to_intensity=False
)

# 生成点云并转换坐标系匹配Open3D可视化视角
pcd = o3d.geometry.PointCloud.create_from_rgbd_image(rgbd_image, intrinsic)
pcd.transform([[1, 0, 0, 0], [0, -1, 0, 0], [0, 0, -1, 0], [0, 0, 0, 1]])
o3d.visualization.draw_geometries([pcd])

bag_reader.close()

内容的提问来源于stack exchange，提问作者michezio