如何计算Q矩阵？需用OpenCV生成深度图与点云但无法用stereoRectify

无需stereoRectify的两种可行方案 #

方案1：直接三角化生成点云（推荐） #

大夹角场景下，跳过视差图和Q矩阵的环节，直接通过特征匹配+三角化生成点云是更靠谱的选择，步骤如下：

• 提取左右图像特征：用SIFT或ORB检测器提取特征点，通过暴力匹配或FLANN匹配得到初始匹配对，再用RANSAC过滤误匹配。
• 构建投影矩阵：假设你已经有标定好的左右相机内参K1、K2，以及右相机相对左相机的旋转矩阵R、平移向量T，则：

  import numpy as np
  # 左相机投影矩阵
  P1 = K1 @ np.hstack((np.eye(3), np.zeros((3, 1))))
  # 右相机投影矩阵
  P2 = K2 @ np.hstack((R, T.reshape(3, 1)))
  

• 三角化计算3D点：将匹配好的左右图像点（需转换为齐次坐标）传入cv2.triangulatePoints，再转换为非齐次坐标：

  # 假设left_pts、right_pts是Nx2的匹配点数组
  left_pts_hom = np.hstack((left_pts, np.ones((len(left_pts), 1)))).T
  right_pts_hom = np.hstack((right_pts, np.ones((len(right_pts), 1)))).T
  # 得到齐次3D点
  pts_3d_hom = cv2.triangulatePoints(P1, P2, left_pts_hom, right_pts_hom)
  # 转换为非齐次坐标
  pts_3d = pts_3d_hom[:3, :] / pts_3d_hom[3, :]
  

• 过滤无效点：剔除深度为负或超出合理范围的点，得到最终点云。

方案2：手动构建Q矩阵用于深度图计算 #

如果必须通过视差图生成深度图，可直接基于标定参数构建Q矩阵，无需依赖stereoRectify：

1. Q矩阵的核心公式（基于左右相机内参和外参）：

   Q = [
       [1, 0, 0, -cx],
       [0, 1, 0, -cy],
       [0, 0, 0, fx],
       [0, 0, -1/Tz, (cx - cx')/Tz]
   ]
   

   其中：
   • cx, cy, fx：左相机内参的主点x、y坐标和焦距
   • cx'：右相机内参的主点x坐标
   • Tz：右相机相对左相机平移向量T的z分量
2. 注意事项：
   • 此时使用cv2.reprojectImageTo3D时，需确保传入的视差图是基于未校正图像计算得到的
   • 大夹角场景下，常规的立体匹配算法（如SGBM）默认针对校正后图像优化，可能需要调整参数（如增大搜索范围）或使用支持未校正图像的匹配逻辑，同时必须做左右一致性检验过滤错误视差。

关键提示 #

大夹角相机的重叠区域特征差异大，立体匹配难度高，优先推荐方案1的三角化方法，能有效降低误匹配带来的点云失真问题。

内容的提问来源于stack exchange，提问作者I2I3