如何计算带IMU的预校准双目相机右相机到IMU的变换矩阵？

我有一台集成IMU的预校准双目相机，SDK提供以下变换矩阵：

1. 左相机到IMU的变换矩阵；
2. 左相机到右相机的变换矩阵。

现需计算右相机到IMU的变换矩阵，相关OpenCV代码如下：

// left camera to IMU transform
cv::Mat c2iL = (cv::Mat1d(4, 4) <<
    sensorConfig.camera_imu_transform.r00,
    sensorConfig.camera_imu_transform.r01,
    sensorConfig.camera_imu_transform.r02,
    sensorConfig.camera_imu_transform.tx,
    sensorConfig.camera_imu_transform.r10,
    sensorConfig.camera_imu_transform.r11,
    sensorConfig.camera_imu_transform.r12,
    sensorConfig.camera_imu_transform.ty,
    sensorConfig.camera_imu_transform.r20,
    sensorConfig.camera_imu_transform.r21,
    sensorConfig.camera_imu_transform.r22,
    sensorConfig.camera_imu_transform.tz,
    0,0,0,1
);

// left camera to right camera transform
cv::Mat c2c = (cv::Mat1d(4, 4) <<
    calibration_params.stereo_transform.r00,
    calibration_params.stereo_transform.r01,
    calibration_params.stereo_transform.r02,
    calibration_params.stereo_transform.tx,
    calibration_params.stereo_transform.r10,
    calibration_params.stereo_transform.r11,
    calibration_params.stereo_transform.r12,
    calibration_params.stereo_transform.ty,
    calibration_params.stereo_transform.r20,
    calibration_params.stereo_transform.r21,
    calibration_params.stereo_transform.r22,
    calibration_params.stereo_transform.tz,
    0, 0, 0, 1
);

对应的两个矩阵示例如下：
左相机到IMU的变换矩阵：

[0.9999997019767761, -0.0007597534568049014, 0.0001837516902014613, 0.02300000376999378;
 0.0007599392556585371, 0.9999992251396179, -0.001013500383123755, -0.0002200000308221206;
 -0.0001829815446399152, 0.00101363961584866, 0.999999463558197, -0.002000000094994903;
 0, 0, 0, 1]

左相机到右相机的变换矩阵（图像已校正，无旋转）：

[1, 0, 0, 0.1194735318422318;
 0, 1, 0, 0;
 0, 0, 1, 0;
 0, 0, 0, 1]

想问两个问题：

1. 计算右相机到IMU的变换矩阵所需的数学运算是什么？是否只需对左相机到IMU的变换矩阵取逆后与左到右的变换矩阵相乘？
2. 左到右的变换矩阵因图像已校正无旋转，应使用该矩阵还是未校正的外参矩阵？

一、变换矩阵的计算逻辑 #

先明确变换矩阵定义：T_AB表示将点从坐标系A转换到坐标系B的齐次变换矩阵。

已知：

• c2iL = T_LI：左相机坐标系到IMU坐标系的变换矩阵
• c2c = T_LR：左相机坐标系到右相机坐标系的变换矩阵

我们需要求T_RI：右相机坐标系到IMU坐标系的变换矩阵。

变换链为：右相机坐标系 → 左相机坐标系 → IMU坐标系。

• 右到左的变换是T_RL，即T_LR的逆矩阵（左到右的逆就是右到左）
• 左到IMU的变换是T_LI

因此最终计算代码为：

cv::Mat T_RI = c2iL * c2c.inv();

你之前的思路（对左到IMU矩阵取逆后乘左到右矩阵）是错误的，inv(c2iL)是IMU到左相机的变换，乘c2c得到的是IMU到右相机的变换，和需求的右到IMU完全相反。

二、校正后vs未校正的外参矩阵选择 #

核心看IMU与左相机的标定是基于原始相机坐标系还是校正后的相机坐标系：

• 如果SDK提供的camera_imu_transform（左到IMU的变换）是针对原始未校正的左相机的，必须使用未校正的双目原始外参计算。因为立体校正后的外参是经过光轴对齐等变换后的虚拟坐标系关系，和原始相机坐标系不匹配，用它会导致IMU与右相机的变换关系出错。
• 如果SDK明确说明camera_imu_transform是针对校正后的左相机的，就用当前SDK提供的无旋转校正后外参矩阵即可。

一般情况下，IMU与相机的标定都是基于原始硬件坐标系，所以优先选未校正的原始双目外参。

内容的提问来源于stack exchange，提问作者anti