双俯视相机坐标映射技术咨询：实现目标点跨相机定位驱动

核心步骤拆解 #

1. 相机A像素坐标 → 电机世界坐标转换 #

• 畸变校正：用OpenCV的fisheye.undistortPoints()对点击的像素坐标(u_dist, v_dist)做鱼眼畸变校正，得到无畸变的归一化图像坐标。
• 像素转相机A坐标系：利用相机A的内参矩阵K的逆矩阵，将校正后的坐标转换为相机A坐标系下的平面世界坐标（物体为平面，固定Z=0），公式为：

  [X_A, Y_A, 1]^T = K^{-1} * [u_rect, v_rect, 1]^T
  

  其中(u_rect, v_rect)是校正后的像素坐标。
• 相机A坐标系 → 电机坐标系转换：通过标定建立两者的映射关系：
  • 在工作台面上选取3个及以上标记点，记录每个点的电机坐标和相机A拍摄的校正后像素坐标。
  • 用OpenCV的cv::findHomography()计算2D单应性矩阵H，该矩阵可直接将相机A坐标系下的点转换为电机坐标系下的点：[X_motor, Y_motor, 1]^T = H * [X_A, Y_A, 1]^T。如果仅涉及平移，矩阵会简化为平移量的映射。

2. 标定相机B中心的电机坐标 #

• 手动控制工作台，将一个已知标记点精准移动到相机B的正下方中心位置，记录此时该点的电机坐标(X_B_center, Y_B_center)，此为最终目标位置。

3. 计算位移并控制电机 #

• 点击相机A画面中的目标点后，按步骤1得到该点对应的电机坐标(X_target, Y_target)。
• 计算所需位移：

  ΔX = X_B_center - X_target
  ΔY = Y_B_center - Y_target
  

• 将位移量发送给电机控制器，驱动工作台完成移动。

4. 误差验证与校准 #

• 选取多个测试点重复流程，检查移动后目标点是否准确落在相机B中心。若存在误差，重新标定单应性矩阵或相机B中心坐标，修正映射参数。

内容的提问来源于stack exchange，提问作者Luka