双相机间像素坐标转换技术需求及实现方法问询

刚好做过类似的跨相机像素映射需求，先给你明确这个问题的专业称谓：在计算机视觉领域，这个需求一般叫做跨相机像素坐标投影转换或者多视图图像像素映射，以后用这个关键词搜应该能找到更多资料。

下面分两种场景给你讲需要的参数和具体流程：

一、两台相机位置/朝向完全相同的理想场景 #

这种情况本质上是内参之间的映射转换，因为相机的外参完全一致，只需要处理两台相机的内参和畸变差异。

所需参数 #

• 相机A的内参矩阵 K_A：3x3矩阵，包含焦距(fx_A, fy_A)、主点坐标(cx_A, cy_A)，结构如下：

  [fx_A  0    cx_A]
  [0    fy_A  cy_A]
  [0     0     1  ]
  

• 相机A的畸变参数 D_A：通常包含径向畸变(k1, k2, k3)和切向畸变(p1, p2)，用来修正镜头畸变
• 相机B的内参矩阵 K_B 和畸变参数 D_B：结构和A一致

具体转换流程 #

1. 去除相机A的像素畸变：
   把带畸变的原始像素坐标(u_A, v_A)转换成无畸变的像素坐标(u'_A, v'_A)，可以用OpenCV的undistortPoints函数直接计算，也可以手动通过畸变公式推导。
2. 转换为相机A的归一化坐标：
   把无畸变像素转成相机坐标系下z=1平面的归一化坐标(x, y)：

   x = (u'_A - cx_A) / fx_A;
   y = (v'_A - cy_A) / fy_A;
   

3. 映射到相机B的无畸变像素：
   用相机B的内参把归一化坐标转回像素：

   u'_B = fx_B * x + cx_B;
   v'_B = fy_B * y + cy_B;
   

4. 添加相机B的畸变：
   给无畸变像素(u'_B, v'_B)加上B的镜头畸变，得到最终的相机B像素坐标(u_B, v_B)。

二、存在x/y/z微小位姿偏移的场景 #

当两台相机有位置或朝向差异时，需要引入外参矩阵来完成坐标系之间的变换。

额外所需参数 #

• 外参矩阵 T_BA：表示从相机A坐标系到相机B坐标系的变换，包含3x3的旋转矩阵R（描述朝向差异）和3x1的平移向量t（描述位置差异），可以组合成4x4的齐次变换矩阵：

  [R[0][0] R[0][1] R[0][2] t[0]]
  [R[1][0] R[1][1] R[1][2] t[1]]
  [R[2][0] R[2][1] R[2][2] t[2]]
  [0       0       0       1  ]
  

  这个外参可以通过立体相机标定（比如用棋盘格配合OpenCV的stereoCalibrate函数）得到，或者如果知道精确的位姿差，也可以手动构造R和t。

具体转换流程 #

1. 同理想场景步骤1-2：先把相机A的像素转成无畸变像素，再得到归一化坐标(x_A, y_A)，对应相机A坐标系下的射线方向向量(x_A, y_A, 1)。
2. 将射线转换到相机B坐标系：
   用外参矩阵把相机A的射线方向向量和光心位置转换到B的坐标系：
   • 射线方向向量：dir_B = R * dir_A（dir_A是(x_A, y_A, 1)）
   • 相机A的光心在自身坐标系是(0,0,0)，转换到B坐标系是O_B = t（因为R*0 + t = t）
3. 投影到相机B的图像平面：
   把B坐标系下的射线投影到图像平面，得到归一化坐标：

   x_B = dir_B[0] / dir_B[2];
   y_B = dir_B[1] / dir_B[2];
   

4. 同理想场景步骤3-4：用B的内参转成无畸变像素，再添加畸变得到最终的(u_B, v_B)。

三、C++库推荐 #

1. OpenCV：绝对是首选，几乎覆盖所有需求：
   • 相机标定：calibrateCamera（单相机）、stereoCalibrate（双相机）可以直接得到内参、畸变和外参
   • 畸变处理：undistortPoints、undistort函数一键完成去畸变/加畸变
   • 投影转换：projectPoints可以直接完成3D点到2D像素的投影，配合外参就能实现跨相机转换
2. Eigen：用来做矩阵和向量运算非常高效，比如处理旋转矩阵、平移向量的变换，和OpenCV配合使用可以让代码更简洁（OpenCV的Mat可以和Eigen的Matrix互相转换）
3. PCL（Point Cloud Library）：如果你的场景涉及3D点云，PCL也有相机投影和位姿变换的模块，但单纯2D转2D的话，OpenCV完全足够。

内容的提问来源于stack exchange，提问作者Oscar Thörn