基于同步视频确定视场内移动相机的相对位姿

核心前提回顾 #

• 两台相机内参一致、离地高度相同
• 视频帧严格同步
• 运动路径近似重合、间距近，存在大量共享视觉关键点
• 相机载体互不出现在对方视场内

分步实现方案 #

一、求解Camera2相对Camera1的旋转角度与3D相对位置 #

1. 多帧共享关键点提取与匹配
   • 对两台相机的同步视频帧，用ORB或SIFT算法提取局部特征关键点，通过暴力匹配+RANSAC算法过滤误匹配对，保留可靠的跨相机关键点对应关系；同时用光流法跟踪连续帧的关键点，筛选出稳定的匹配集，减少噪声干扰。
2. 相对位姿求解
   • 基于已知的相机内参，通过匹配关键点对计算本质矩阵（Essential Matrix），再对矩阵分解得到Camera2相对Camera1的旋转矩阵R（对应旋转角度）和平移向量T（对应3D相对位置）。
   • 结合相机离地高度一致的约束：平移向量的垂直分量（假设Y轴垂直地面）为0，将此约束加入求解过程，减少自由度，提升位姿结果准确性。
3. 多帧位姿优化
   • 采用光束平差法（Bundle Adjustment, BA） 对多帧的位姿和关键点3D坐标进行联合优化，最小化重投影误差，消除单帧计算的噪声，得到更鲁棒的旋转角度与相对位置。

二、确定Camera2在Camera1帧中的2D坐标与深度 #

1. 2D坐标计算
   • 将Camera2的相机中心（由平移向量T得到的3D坐标），通过Camera1的内参矩阵K和相对旋转矩阵R，代入投影公式P = K * [R | T]，投影到Camera1的图像平面，得到对应的(x,y)像素坐标。
2. 深度计算
   • 多视角视差法：利用已求解的相对位姿，结合跨相机匹配关键点的视差，通过三角测量计算关键点的3D深度，以此为基准校准Camera2相机中心的深度值。
   • 目标尺寸法：针对F1场景中的标准尺寸目标（如赛道线宽度、护栏立柱间距），通过其像素尺寸与真实尺寸的比例，结合相机内参计算深度，验证或修正三角测量结果。

三、F1场景专属优化技巧 #

• 利用赛道的结构化特征（如直道/弯道的固定曲率、赛道线平行性）作为额外约束，对位姿结果进行校验和修正。
• 基于相机运动路径近似重合的特点，假设连续帧间位姿变化平滑，用卡尔曼滤波对帧间位姿进行平滑处理，减少运动抖动带来的误差。

内容的提问来源于stack exchange，提问作者Torpedo