平移旋转矩阵正确但重投影误差高：解析cv2.stereoCalibrate

一、重投影误差计算原理 #

cv2.stereoCalibrate的重投影误差是所有标定板特征点在左右相机图像上的投影偏差的均方根（RMS），核心计算逻辑如下：

1. 基于单目标定得到的左右相机内参（K1, D1；K2, D2）、立体标定求解的旋转矩阵R和平移向量T，将3D世界坐标系下的标定板角点分别投影到左右相机的图像平面：
   • 左相机投影：世界点直接通过左相机内参去畸变、投影得到图像坐标
   • 右相机投影：先通过R和T将世界点转换到右相机坐标系，再通过右相机内参去畸变、投影得到图像坐标
2. 计算每个投影坐标与实际检测到的图像角点坐标的欧氏距离（像素单位）
3. 对所有点的误差平方求和，除以总特征点数量后开平方，得到最终的RMS误差，公式可简化为：

   error_rms = sqrt( sum( (x_proj - x_actual)² + (y_proj - y_actual)² ) / total_points )
   

二、误差影响因素及与R、T的关联 #

影响因素 #

1. 特征点检测精度：标定板角点的亚像素定位偏差是最常见的误差来源，比如图像模糊、光照不均、标定板反光/阴影都会导致角点定位不准。
2. 单目内参/畸变参数准确性：即使单目标定误差<1，但若畸变参数（径向、切向）拟合不足，立体投影时误差会被累积放大。
3. 标定板摆放合理性：若标定板仅集中在视场某一区域，或姿态过于单一（比如始终平行于相机平面），会导致立体标定的约束不足，模型泛化性差。
4. 图像质量与冗余度：低质量图像（模糊、角点缺失）或大量重复姿态的冗余图像，会引入无效噪声，拉高原误差。

与R、T的关联 #

在你这种纯平移、无旋转的场景中，R理论上应为单位矩阵，T仅单轴有分量。但重投影误差高可能存在两种关联：

• 若R、T看起来符合预期，但误差高，大概率是特征点噪声或单目内参偏差导致优化算法陷入局部最优：算法为了拟合噪声点，在保证R、T接近理论值的同时，牺牲了投影精度。
• 若R存在微小偏差（因噪声导致），即使偏差很小，也会在投影过程中累积成明显的像素误差，尤其是当标定板距离相机较远时。

三、优化标定流程的具体建议 #

1. 优化特征点检测与筛选 #

• 确保标定板图像清晰、光照均匀，避免反光和阴影；若图像模糊，重新拍摄。
• 提升亚像素检测精度：调整cv2.cornerSubPix的终止条件，例如：

  criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 50, 0.0001)
  corners = cv2.cornerSubPix(gray, corners, (11,11), (-1,-1), criteria)
  

• 单张图像预筛选：用单目内参计算每张图像的重投影误差，丢弃误差超过阈值（比如>1.5）的图像，避免低质量图像拖垮整体结果。

2. 优化标定板摆放策略 #

针对纯平移场景，摆放需满足：

• 标定板在左右相机的公共视场内，沿平移轴方向前后移动，同时在垂直于平移轴的平面内（上下、左右）移动，覆盖相机整个视场。
• 每张图像的标定板保持轻微倾斜（不要完全平行于相机平面），为标定提供更多几何约束。
• 避免连续拍摄姿态几乎一致的图像，保证每张图像都能提供新的约束信息。

3. 调整立体标定参数 #

• 固定已知约束：由于你的场景是纯平移，可设置flags=cv2.CALIB_FIX_ROTATION，强制R为单位矩阵，减少优化变量，避免无效旋转带来的误差；若确定主点在图像中心，可叠加cv2.CALIB_FIX_PRINCIPAL_POINT。
• 固定单目内参：若单目标定足够准确，设置flags=cv2.CALIB_FIX_INTRINSIC，仅优化R、T，避免立体标定过程中内参被过度调整。

4. 处理图像数量过多的问题 #

你提到50-100张图像误差反而升高，核心原因是无效图像占比过高：

• 对所有图像进行预筛选，只保留角点检测准确、单目重投影误差低的图像，控制总数量在30-40张左右（保证覆盖足够姿态即可）。
• 避免盲目堆数量，优先保证每张图像的质量和姿态多样性。

内容的提问来源于stack exchange，提问作者Đỗ Ngọc Trâm