如何利用stereoCalibrate得到的相机间R与t实现左右相机点映射？

我之前也踩过完全一样的坑！咱们一步步拆解问题，找到可行的点跨相机映射方法：

很多人栽在变换公式的t符号上，先明确OpenCV stereoCalibrate()返回的R、t定义：它是将相机1坐标系下的3D点转换到相机2坐标系的变换，正确公式是：

P_cam2 = R * P_cam1 + t

千万别搞反写成P_cam2 = R*(P_cam1 - t)——这是最常见的错误，你先检查自己的代码是不是在这里出问题了。

你可以用标定用的原始点（比如棋盘格角点的世界坐标）来验证R、t的准确性，步骤如下：

1. 把世界坐标系下的点P_world转换到相机1坐标系：

   # R1、t1是相机1的外参（单目标定得到）
   P_cam1 = np.dot(R1.T, P_world - t1)
   

2. 用stereoCalibrate得到的R、t转换到相机2坐标系：

   P_cam2_pred = np.dot(R, P_cam1) + t
   

3. 将预测的P_cam2_pred投影到相机2的图像平面，和实际检测到的像素坐标对比：

   # K2是相机2内参，转成齐次坐标投影
   u2_pred_homo = np.dot(K2, P_cam2_pred)
   u2_pred = (u2_pred_homo[:2] / u2_pred_homo[2]).astype(int)
   # 和实际的u2_gt对比误差
   print("像素误差：", np.linalg.norm(u2_pred - u2_gt))
   

如果误差很大，说明你的R、t可能标定不准确，这时候可以手动计算理论值来对比：

# 理论上的R、t应该是相机2外参对相机1外参的变换
R_theory = np.dot(R2, R1.T)
t_theory = t2 - np.dot(R2, np.dot(R1.T, t1))

用这个理论值再跑一遍验证，如果误差骤降，说明你之前的立体标定可能出了问题（比如棋盘格检测不准、标定图像数量不足、内参设置错误）。

如果用深度图生成3D点做映射，要确保：

• 深度值的单位和标定一致：比如标定时棋盘格尺寸用的是毫米，深度值也要转成毫米，不能直接用像素级的深度值。
• 像素转3D点的公式正确：

  # K1的fx=(0,0), fy=(1,1), cx=(0,2), cy=(1,2)
  Z = depth_value  # 正确单位的深度
  X = (u - cx) / fx * Z
  Y = (v - cy) / fy * Z
  P_cam1 = np.array([X, Y, Z])
  

之后再用前面的P_cam2 = R*P_cam1 + t转换即可。

你提到了R1、t1、R2、t2——这些是stereoRectify()输出的立体校正后的外参，如果你是用校正后的图像做映射，不能直接用stereoCalibrate的原始R、t！校正后两个相机的图像共面行对齐，此时可以用校正后的参数或者Q矩阵来做更简单的映射。

如果以上都没问题，那可能是标定本身的问题：

• 确保标定图像数量足够（至少15张），且棋盘格覆盖相机的不同角度、距离、位置。
• 检查棋盘格角点检测是否准确，有没有误检或漏检的情况。
• 立体标定时如果已经有单目标定的内参，一定要加CALIB_USE_INTRINSIC_GUESS | CALIB_FIX_INTRINSIC参数，让算法用已知内参计算外参，结果更可靠。

内容的提问来源于stack exchange，提问作者Sanjay