基于OpenCV手眼标定的无重叠视场双目相机外参标定结果异常问题咨询

嘿，你的思路是对的——手眼标定确实能解决无重叠视场的多相机外参标定问题，但结果跑偏主要是因为手眼标定的位姿映射完全搞反了，再加上代码里的几个小bug，才导致和立体标定结果差这么多。我帮你拆解下问题，再给你修正后的代码：

一、核心问题：手眼标定的位姿映射逻辑完全错位 #

OpenCV的calibrateHandEye是基于AX=XB的变换模型，参数对应严格的物理映射关系，你当前的设定完全不符合这个模型的逻辑：

• 官方模型中，R_gripper2base代表夹爪相对于固定基座的位姿，R_target2cam代表固定目标相对于相机的位姿，最终输出的R_cam2gripper是相机相对于夹爪的位姿
• 你的场景里，标定板是固定不动的（对应模型里的base和target），左、右相机是需要求相对位姿的两个设备，正确的映射应该是：
  • R_gripper2base → 右相机相对于标定板的位姿（即board2rightCam的逆矩阵rightCam2board）
  • R_target2cam → 标定板相对于左相机的位姿（即board2leftCam）
  • 最终求的R_cam2gripper是左相机相对于右相机的位姿，如果需要右到左的位姿，对结果求逆即可

你之前把左相机当作gripper、右相机当作cam的设定，直接打破了AX=XB的变换逻辑，这是结果错误的根本原因。

二、代码里的明显bug #

看你的第二组循环代码，有个致命的变量错误：

cv::Mat R_bot2floor, T_bot2floor;
mat44ToRT_(pose_inv, R_bot2floor, T_bot2floor);

这里你误用了第一个循环里的pose_inv变量，而当前循环中已经计算了右相机观测的标定板位姿pose，应该用pose（求逆后）来提取旋转和平移向量，而且变量命名也混乱（bot2floor和实际含义不符）。

三、修正后的代码示例 #

先明确变量命名：

• leftCam：左相机，botCam：右相机
• board2leftCam：标定板在左相机坐标系下的位姿
• board2rightCam：标定板在右相机坐标系下的位姿
• 目标：获取右相机到左相机的位姿rightCam2leftCam

// 第一步：获取左相机观测的标定板位姿（board2leftCam）
std::vector<cv::Mat> rvecMat_board2left, tvecMat_board2left;
for (size_t i = 0; i < lefCamfilenames.size(); ++i) {
    cv::Mat matLef = cv::imread(lefCamfilenames[i]);
    vector<int> ids;
    vector<vector<Point2f>> corners, rejected;
    aruco::detectMarkers(matLef, dictionary, corners, ids, params, rejected);
    cv::Vec3d rvec, tvec;
    aruco::estimatePoseBoard(corners, ids, board, leftCam.mtx, leftCam.dist, rvec, tvec);
    cv::Mat pose = vec3d2Mat44(rvec, tvec); // 得到board2leftCam的4x4位姿矩阵
    pose.convertTo(pose, CV_32F);
    cv::Mat R, T;
    mat44ToRT_(pose, R, T);
    rvecMat_board2left.push_back(R);
    tvecMat_board2left.push_back(T);
}

// 第二步：获取右相机观测的标定板位姿，求逆得到rightCam2board（对应R_gripper2base）
std::vector<cv::Mat> rvecMat_right2board, tvecMat_right2board;
for (size_t i = 0; i < botCamfilenames.size(); ++i) {
    cv::Mat matBot = cv::imread(botCamfilenames[i]);
    vector<int> ids;
    vector<vector<Point2f>> corners, rejected;
    aruco::detectMarkers(matBot, dictionary, corners, ids, params, rejected);
    cv::Vec3d rvec, tvec;
    aruco::estimatePoseBoard(corners, ids, board, botCam.mtx, botCam.dist, rvec, tvec);
    cv::Mat pose = vec3d2Mat44(rvec, tvec); // 得到board2rightCam的4x4位姿矩阵
    pose.convertTo(pose, CV_32F);
    cv::Mat pose_inv = pose.inv(); // 求逆得到rightCam2board的位姿
    cv::Mat R, T;
    mat44ToRT_(pose_inv, R, T);
    rvecMat_right2board.push_back(R);
    tvecMat_right2board.push_back(T);
}

// 第三步：执行手眼标定，得到左相机相对于右相机的位姿
cv::Mat R_left2right, T_left2right;
cv::calibrateHandEye(
    rvecMat_right2board, tvecMat_right2board, // R_gripper2base, t_gripper2base（右相机→标定板）
    rvecMat_board2left, tvecMat_board2left,   // R_target2cam, t_target2cam（标定板→左相机）
    R_left2right, T_left2right,
    cv::CALIB_HAND_EYE_TSAI // 选择TSAI或其他合适的标定方法
);

// 若需要右相机到左相机的位姿，对结果求逆即可
cv::Mat pose_left2right = cv::Mat::eye(4,4,CV_32F);
R_left2right.copyTo(pose_left2right(cv::Rect(0,0,3,3)));
T_left2right.copyTo(pose_left2right(cv::Rect(3,0,1,3)));
cv::Mat pose_right2left = pose_left2right.inv();
cv::Mat R_right2left, T_right2left;
mat44ToRT_(pose_right2left, R_right2left, T_right2left);

四、额外注意事项 #

• 确保每组左、右相机的图像是同步拍摄的，否则标定板的位姿变化会引入误差
• 拍摄至少10组不同位姿的标定板图像，且标定板的平移、旋转变化要足够大，保证标定结果的鲁棒性
• 检查vec3d2Mat44和mat44ToRT_工具函数的正确性，确保旋转矩阵和平移向量的转换逻辑（比如旋转矩阵的顺序、平移向量的存储形式）没有错误

内容的提问来源于stack exchange，提问作者www