Drake ManipulationStation RGBD转点云彩色与深度帧对齐问题咨询

• 跨帧深度与彩色图像映射工具支持
  Drake的perception模块内置了WarpImage系列函数，支持基于相机内参、两帧之间的外参变换，实现深度图像到彩色图像帧的投影转换，或是彩色图像到深度图像帧的重映射，功能和Azure Kinect SDK提供的图像转换接口完全匹配。你不需要强制修改D415模型的帧位姿来实现对齐，直接调用该接口传入RgbdSensor输出的彩色、深度相机内参与X_CD（深度帧到彩色帧的变换矩阵）即可得到对齐后的图像对，再输入给DepthImageToPointCloud就不会出现着色错误。如果你的Drake版本较新，也可以直接在创建RgbdSensor时开启对齐输出选项，直接获取同一帧下的彩色、深度图像对，不需要手动做变换。

• 仿真场景下该操作的冗余性判断
  该操作是否冗余完全取决于你的仿真目标：

• 如果你是在做真实硬件的算法迁移验证，需要仿真完全复现真实Azure Kinect输出的原始异帧、异分辨率图像特性，用于测试你自己的图像对齐、点云生成算法鲁棒性，那么手动做跨帧映射是完全必要的，能够最大程度缩小仿真和真实硬件的输出差异，避免算法在仿真上跑通但实装失效的问题。
• 如果你仅需要仿真输出准确的带色点云，不需要模拟真实硬件的原始输出特性，那直接配置RgbdSensor输出对齐后的图像对，或是修改相机模型让彩色、深度帧完全重合的方案效率更高，额外做跨帧映射确实属于冗余操作。

内容的提问来源于stack exchange，提问作者milLII3yway