双目相机左右镜头内参焦距差异问题及解决方法咨询

我是计算机视觉与OpenCV新手，细节描述可能不够完善，敬请谅解。
目前我正在标定一款双目相机以获取内参（intrinsic parameters）与外参（extrinsic parameters），最终目标是对图像对进行去畸变、校正，并通过特征匹配（correspondence）定位图像中的特定点。

使用设备：ELP同步双镜头立体USB相机（13MP、960P，OV9715传感器）
拍摄数据：20对立体图像

以下是我用于相机标定的代码片段：

for fname in images:
        img = cv2.imread(fname)
        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

        ret, corners = cv2.findChessboardCorners(gray, (width, height), None)

        if ret:
            print(fname)
            objpoints.append(objp)

            corners2 = cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria)
            imgpoints.append(corners2)

            img = cv2.drawChessboardCorners(img, (width, height), corners2, ret)

ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)

我分别标定了左右镜头，但发现两个镜头的相机矩阵（K）中的焦距存在明显差异：

左镜头参数：

K: !!opencv-matrix
   rows: 3
   cols: 3
   dt: d
   data: [ 2.7630975322098088e+03, 0., 6.3154856415725897e+02, 0.,
       2.8097306962970929e+03, 4.9132766901283384e+02, 0., 0., 1. ]
D: !!opencv-matrix
   rows: 1
   cols: 5
   dt: d
   data: [ -4.6255313067932485e-01, -5.5060376742654917e+01,
       -9.9065660338455458e-02, 4.4853567872048555e-02,
       8.3136561769726973e+02 ]

右镜头参数：

K: !!opencv-matrix
   rows: 3
   cols: 3
   dt: d
   data: [ 1.1603188984395067e+03, 0., 6.4378728024327643e+02, 0.,
       1.1556999845227924e+03, 5.0433004252302896e+02, 0., 0., 1. ]
D: !!opencv-matrix
   rows: 1
   cols: 5
   dt: d
   data: [ -6.0796521210889765e-01, 6.0622199106747054e-01,
       -1.4097123552960564e-02, 1.4581825861357409e-02,
       -6.8179582332173561e-01 ]

请问我哪里操作出错了？该如何修正这个问题？

已尝试方法：

• 单独标定左右相机
• 同时标定两台相机

核心问题判断 #

你得到的左右镜头焦距差异过大（左镜头_{2700/2800，右镜头}1150/1160），这显然不符合同型号双目相机的硬件特性——同规格镜头的焦距应该非常接近。这种偏差大概率是标定过程中的错误导致，而非硬件本身问题。

可能的错误点及修正方案 #

1. 棋盘格尺寸设置错误

   • 检查代码中(width, height)的数值是否对应实际棋盘格的内角点数量（比如常见的8x6棋盘格，内角点是7x5）。如果左右镜头标定用的棋盘格尺寸参数不一致，或参数与实际棋盘格不匹配，会直接导致焦距计算严重偏差。
   • 修正：重新确认棋盘格内角点数量，确保左右镜头标定使用完全相同的(width, height)参数。

2. 标定图像质量与采集规范问题

   • 若部分标定图像存在棋盘格模糊、倾斜角度过大、棋盘格只占图像小部分，或左右图像对的棋盘格位置/姿态差异过大，都会导致标定算法收敛到错误结果。另外左镜头的畸变参数D中数值异常大（第二个参数达-55），说明左镜头的标定图像可能存在严重无效数据（比如模糊或棋盘格检测错误）。
   • 修正：
     • 重新采集标定图像：确保每对图像中棋盘格清晰、占据图像1/2以上区域，覆盖不同旋转角度和位置（上下左右、前后距离变化），避免极端倾斜。
     • 标定前手动检查每一张图像的棋盘格检测结果（drawChessboardCorners生成的图像），剔除检测错误或棋盘格不完整的图像。

3. 单目标定的局限性

   • 单独标定左右相机时，算法没有约束两个镜头的内参一致性，容易出现偏差。即使尝试了同时标定，可能未正确使用OpenCV的双目标定流程。
   • 修正：使用OpenCV的cv2.stereoCalibrate进行双目联合标定，该函数会约束左右镜头的内参（焦距、畸变参数）保持合理一致性，同时计算外参（旋转矩阵R和平移向量T）。
     • 核心流程：
       1. 分别收集左右镜头的objpoints、imgpoints_left、imgpoints_right（确保每对图像的objpoints对应同一棋盘格姿态）。
       2. 调用stereoCalibrate，设置合适的flags参数（比如cv2.CALIB_FIX_INTRINSIC若已有单目标定结果，或cv2.CALIB_USE_INTRINSIC_GUESS传入单目标定内参作为初始值，或直接让算法从头计算）。

4. 图像分辨率不一致

   • 检查左右镜头输出的图像分辨率是否完全相同。如果左右图像尺寸不同，标定后的焦距数值会因像素密度差异出现偏差。
   • 修正：采集图像前，确保双目相机的左右镜头设置为相同分辨率（比如960P对应的具体像素尺寸），标定前统一图像尺寸。

验证步骤 #

修正后重新标定完成，可通过以下方式验证结果合理性：

• 检查左右镜头的焦距数值是否接近（误差在5%以内属于正常范围）。
• 使用cv2.undistort对测试图像进行去畸变，观察畸变是否被有效校正（比如直线是否保持笔直）。
• 进行双目校正（cv2.stereoRectify+cv2.initUndistortRectifyMap），查看校正后的左右图像是否行对齐（同一物体的像素点在左右图像的同一水平线上）。

内容的提问来源于stack exchange，提问作者Mireom