如何基于OpenCV 3对未知相机进行自动标定？（稠密三维重建场景）

针对你在基于OpenCV 3 C++的稠密三维重建项目中遇到的未知相机自动标定问题，结合你已经完成的特征提取、匹配和基础矩阵求解步骤，下面是具体的实现思路和实用方法：

核心思路概述 #

你已经走完了自动标定的关键前置步骤：通过特征匹配得到跨图像的对应点，进而求解出基础矩阵。在此基础上，OpenCV 3确实提供了成熟的无标定物自动标定工具，完全可以从图像间的几何约束（单应/基础矩阵）来估计相机内参，不需要依赖棋盘格这类传统标定物。

具体实现步骤 #

1. 扩展约束：从单幅基础矩阵到多视角几何约束集合 #

虽然单张图像对的基础矩阵/单应矩阵也能用来估计内参，但单视角的约束太少，结果误差会很大。建议你：

• 对3组以上不同视角的图像对分别求解单应矩阵（用cv::findHomography()，输入匹配好的特征点对）；
• 若已经有基础矩阵，也可以结合内参的初始假设推导外参，进一步积累多视图的几何约束。

2. 使用OpenCV 3的自动标定工具估计内参 #

方法一：用focalsFromHomography()快速获取内参初值

这个函数专门用于从单应矩阵推导相机焦距，默认假设主点位于图像中心（cx = 图像宽度/2，cy = 图像高度/2），调用方式简洁：

cv::Mat H; // 已求解的单应矩阵
double fx, fy;
cv::focalsFromHomography(H, fx, fy);
// 构造初始内参矩阵
cv::Mat K = (cv::Mat_<double>(3,3) << fx, 0, img_width/2, 0, fy, img_height/2, 0, 0, 1);

这种方法适合快速得到内参初值，但精度有限，需要后续优化。

方法二：用detail::CalibrateRobust做鲁棒多视角标定

如果你有多组图像对，更推荐使用OpenCV拼接模块里的detail::CalibrateRobust类，它能基于多幅图像的单应矩阵集合，估计出更可靠的内参，还支持径向畸变系数的估计：

#include <opencv2/stitching/detail/camera.hpp>

// 存储多组图像的单应矩阵
std::vector<cv::Mat> homographies;
// 存储所有图像的尺寸（建议保持一致）
std::vector<cv::Size> img_sizes;
// 初始化鲁棒标定器
cv::detail::CalibrateRobust calibrator;
// 存储计算得到的外参和内参相关参数
std::vector<cv::Mat> rotations, translations;
std::vector<double> focals, aspect_ratios, principal_points_x, principal_points_y, distortions;

// 执行标定
calibrator.calibrate(homographies, img_sizes, rotations, translations, focals, aspect_ratios, principal_points_x, principal_points_y, distortions);

// 构造最终内参矩阵
cv::Mat K = (cv::Mat_<double>(3,3) << focals[0], 0, principal_points_x[0], 0, focals[0]*aspect_ratios[0], principal_points_y[0], 0, 0, 1);
// 构造畸变系数矩阵（k1, k2, p1, p2, k3）
cv::Mat dist_coeffs = (cv::Mat_<double>(5,1) << distortions[0], distortions[1], 0, 0, distortions[2]);

3. 光束平差优化参数 #

得到内参初值后，为了进一步提升精度，建议使用光束平差法做全局优化。OpenCV拼接模块的detail::BundleAdjusterReproj类可以结合重建的3D点和图像投影误差，同时优化内参、外参和3D点坐标：

#include <opencv2/stitching/detail/bundle_adjuster.hpp>

// 存储多视图的匹配信息
std::vector<cv::detail::MatchesInfo> matches_info;
// 存储相机参数（内参、外参等）
std::vector<cv::detail::CameraParams> cameras;
// 初始化光束平差器
cv::detail::BundleAdjusterReproj adjuster;
adjuster.setConfThresh(1.0); // 设置重投影误差阈值

// 执行优化
adjuster.adjust(cameras, matches_info);
// 优化后的内参存储在cameras[i].K中

关键注意事项 #

• 视角多样性：确保图像对之间有足够大的视角变化，避免几乎平行的拍摄角度，否则几何约束会很弱，标定结果不可靠。
• 主点修正：如果实际相机主点不在图像中心，初始估计会有偏差，但后续的光束平差可以自动修正这个参数。
• 畸变处理：如果你的相机存在明显的径向畸变，一定要在标定过程中加入畸变系数的估计，否则重建结果会出现扭曲。

内容的提问来源于stack exchange，提问作者ShayaP