MediaPipe双摄像头姿态跟踪：如何实现同关键点坐标统一映射？

可行性与技术名称 #

你的需求完全可行，核心技术属于多视图几何下的立体相机坐标映射与关键点配准，更具体的落地技术是基于双目相机标定的跨相机2D/3D关键点坐标系转换。

问题分析与修正方案 #

你之前尝试的立体校准思路方向正确，但操作有误：直接用旋转(R)和平移(T)矩阵与相机2的2D坐标相乘是错误的——2D图像坐标是透视投影后的结果，无法直接通过外参矩阵完成坐标系转换，必须结合相机内参完成3D空间的坐标映射：

• 完成精确双目标定：确保得到两个相机的内参矩阵(K1、K2)，以及相机2相对相机1的旋转矩阵R、平移向量T（标定过程中棋盘格需覆盖整个视野，避免标定误差过大）。
• 利用MediaPipe的3D关键点简化流程：MediaPipe Pose本身会输出归一化的3D人体关键点坐标，可直接将相机2的3D坐标通过外参转换到相机1的坐标系：

  P_cam1 = R * P_cam2 + T
  

  若需转换为相机1的2D图像坐标，再通过相机1的内参做透视投影即可。
• 纯2D关键点的转换方式：如果仅用2D关键点，需先通过立体匹配（或结合MediaPipe的3D深度信息）计算关键点的深度值，将相机2的2D坐标反投影到其3D相机坐标系，再转换到相机1的3D坐标系，最后投影到相机1的2D图像平面。

而你尝试的平面单应性仅适用于平面场景，自然无法适配人体这种非平面目标，因此效果不佳。

最终效果实现 #

通过上述方法统一坐标系后，你可以对双摄像头检测到的同一关键点做融合（比如取置信度更高的结果，或对3D坐标做加权平均），从而提升关键点检测的鲁棒性，构建更完整的目标关键点坐标集。

内容的提问来源于stack exchange，提问作者Somebody