stereoRectify函数偶发失效问题求助（附aruco板相关场景及代码）

这种偶发的函数失效确实头疼，尤其是你已经确认ArUco位姿数据完全可靠的情况下，咱们一步步拆解可能的问题点，逐个排查：

1. 先校验calcRT输出的R/T矩阵合法性 #

stereoRectify对输入的旋转矩阵R和平移向量T有严格的数学要求，哪怕微小的偏差都可能导致函数异常：

• 旋转矩阵必须是正交矩阵：满足$R^T R = I$，且行列式为1（右手坐标系）。你可以在calcRT函数返回后立刻加校验逻辑：

  // 校验R的正交性
  Mat R_transpose;
  transpose(R, R_transpose);
  Mat identity_check = R * R_transpose;
  double ortho_err = norm(identity_check, Mat::eye(3,3,CV_64F));
  if(ortho_err > 1e-6) {
      cerr << "警告：旋转矩阵正交性不满足，误差值：" << ortho_err << endl;
  }
  // 校验行列式
  double det_R = determinant(R);
  if(abs(det_R - 1.0) > 1e-6) {
      cerr << "警告：旋转矩阵行列式不为1，值为：" << det_R << endl;
  }
  

• 平移向量不能异常：不能是零向量（毕竟是不同视口），且尺度要和ArUco的真实尺寸匹配——如果你的calcRT里做了尺度缩放，一定要确认逻辑正确。

2. 确认相机内参的匹配性与正确性 #

哪怕图像已经去畸变，内参的设置错误也是stereoRectify失效的高频原因：

• 如果是同一相机移动拍摄，两个视口的内参矩阵必须完全一致；如果是双相机，必须用标定得到的对应内参，不能混用。
• 重点注意：图像去畸变后，传入stereoRectify的distCoeffs1和distCoeffs2要设为全零向量，同时内参矩阵要使用去畸变后的修正内参（不是原始标定的内参）。很多人在这里踩坑，用原始内参+畸变系数处理已去畸变的图像，直接导致stereoRectify计算崩溃。

3. 调整stereoRectify的参数设置 #

默认参数不一定适配你的场景，尝试调整这些关键参数：

• alpha：默认值-1会自动裁剪无效区域，但如果视场重叠度很低，可能触发异常。可以尝试设为0（只保留有效像素）或1（保留所有像素，包括黑边）。
• flags：如果你的内参完全可靠，加上CALIB_FIX_INTRINSIC flag可以强制固定内参，避免函数尝试优化内参导致的异常；另外，如果不需要零视差平面，可去掉CALIB_ZERO_DISPARITY。
• 输出矩阵类型：确保R1, R2, P1, P2, Q都用CV_64F精度，32位精度不够可能引发偶发的数值错误。

4. 检查位姿坐标系的转换逻辑 #

ArUco输出的r_vec/t_vec是相机到ArUco板的变换，你在calcRT里计算两个视口的相对位姿时，一定要保证坐标系转换顺序正确：
假设v1的位姿是$R_1$（相机1到ArUco的旋转）、$T_1$（相机1到ArUco的平移），v2的位姿是$R_2$、$T_2$，那么v2相对于v1的变换应该是：
$$R = R_2 \times R_1^T$$
$$T = T_2 - R \times T_1$$
很多人会搞反旋转矩阵的乘法顺序，导致R矩阵完全错误，进而让stereoRectify失效。

5. 增加异常日志捕获 #

因为是偶发问题，必须记录每次调用的关键数据才能定位：

// 调用前记录输入参数
ofstream log("stereo_rectify_log.txt", ios::app);
log << "=== 新一次调用 ===" << endl;
log << "时间戳：" << time(nullptr) << endl;
log << "旋转矩阵R:\n" << R << endl;
log << "平移向量T:\n" << T << endl;
log << "相机内参1:\n" << cameraMatrix1 << endl;
log.close();

// 调用stereoRectify
stereoRectify(cameraMatrix1, distCoeffs1, cameraMatrix2, distCoeffs2, imageSize, 
              R, T, R1, R2, P1, P2, Q, CALIB_ZERO_DISPARITY, alpha, imageSize, &validRoi1, &validRoi2);

// 检查输出是否异常
if(R1.empty() || isnan(R1.at<double>(0,0))) {
    ofstream err_log("stereo_rectify_error.log", ios::app);
    err_log << "=== 失效记录 ===" << endl;
    err_log << "时间戳：" << time(nullptr) << endl;
    err_log << "旋转矩阵R:\n" << R << endl;
    err_log << "平移向量T:\n" << T << endl;
    err_log << "相机内参1:\n" << cameraMatrix1 << endl;
    err_log.close();
}

下次出现失效时，你可以从错误日志里拿到具体的输入数据，直接定位是哪组R/T或内参出了问题。

按照这个流程排查，应该能快速找到stereoRectify偶发失效的根源。

内容的提问来源于stack exchange，提问作者Stepan Yakovenko