OpenCV立体相机标定是否支持混合相机模型（普通+鱼眼）？

OpenCV官方提供的cv::stereoCalibrate()和cv::fisheye::stereoCalibrate()均要求立体相机对使用相同的相机模型，原生不支持一台普通相机+一台鱼眼相机的混合立体标定场景。

如果需要完成这类混合模型的立体标定，可以采用以下可行方案：

• 步骤1：单独标定单相机参数
  先分别完成两台相机的单目标定：

  • 对普通相机，使用cv::calibrateCamera()得到内参矩阵、6个径向畸变系数+2个切向畸变系数；
  • 对鱼眼相机，使用cv::fisheye::calibrate()得到内参矩阵、4个鱼眼畸变系数。

• 步骤2：手动优化立体外参
  将两台相机的内参、畸变系数作为固定已知值，基于重投影误差最小化的目标，单独求解立体相机对的外参（旋转矩阵R、平移向量T）：

  • 可以利用OpenCV的cv::solvePnP迭代求解，对每一组立体匹配点，分别用对应相机的畸变模型做投影计算，迭代优化外参；
  • 也可以基于Ceres、Sophus等第三方优化库，自定义重投影误差的代价函数，通过非线性最小二乘求解最优外参。

• 不推荐的方案：尝试将普通相机模型与鱼眼模型做格式转换后统一用官方立体标定函数。两种模型的畸变建模逻辑差异极大，转换过程会引入不可控的误差，最终标定精度无法保证。

内容的提问来源于stack exchange，提问作者herohuyongtao