已知双目相机单机位姿，求解未知机位姿（含剧烈运动视频场景）

非学习类方案 #

1. 鲁棒特征匹配+约束优化 #

针对动态物体导致的匹配噪声问题，采用强鲁棒性的特征匹配与模型估计流程：

• 提取特征：使用SIFT或ORB提取图像特征，优先选择SIFT（对光照、尺度变化鲁棒性更强）；
• 初始匹配过滤：利用双目相机的极线约束（已知内参时），过滤掉不在极线上的错误匹配对；
• 鲁棒模型估计：用MAGSAC++替代传统RANSAC，它能在高噪声匹配集中更准确地估计本质矩阵，减少动态物体干扰；
• 位姿求解与优化：分解本质矩阵得到im1与im2的相对位姿，结合im2的绝对位姿计算im1的位姿；最后用Bundle Adjustment（BA）固定im2位姿与相机内参，仅优化im1位姿与背景关键点坐标，进一步提升精度。
  工具依赖：OpenCV 4.x及以上版本（内置MAGSAC++实现）

2. 背景分割+静态区域位姿估计 #

利用相机静态的前提，聚焦静态背景信息求解位姿：

• 背景提取：用MOG2背景分割算法或帧差法结合形态学处理，从im1和im2中分割出静态背景区域；
• 背景特征匹配：仅在背景区域内提取特征并做匹配，完全排除动态物体的干扰；
• 位姿求解：用PnP算法（已知3D点时）或本质矩阵估计，结合im2的绝对位姿得到im1的位姿。
  适用场景：场景存在明显静态背景的情况

基于学习的方案 #

1. 鲁棒特征匹配模型（LoFTR） #

基于Transformer的LoFTR模型能学习到更具判别性的特征，在动态场景下的匹配精度远高于传统方法：

• 特征匹配：用LoFTR模型直接得到im1与im2的高精度匹配对，模型会自动过滤动态物体的无效匹配；
• 位姿估计：将匹配对输入MAGSAC++估计本质矩阵，进而求解im1的绝对位姿；
  实现方式：可基于PyTorch调用预训练的LoFTR模型，无需额外标注数据

2. 动态场景专用位姿回归模型 #

针对动态场景优化的端到端位姿模型，比如DynamicPoseNet，这类模型会自动识别并忽略动态物体特征：

• 模型推理：将im1和im2输入预训练的DynamicPoseNet，直接输出im1相对于im2的相对位姿；
• 绝对位姿计算：结合已知的im2绝对位姿，转换得到im1的绝对位姿；
  优势：无需手动处理特征匹配或背景分割，端到端完成位姿估计

3. 双目深度估计+ICP位姿优化 #

结合双目深度信息与点云匹配求解位姿：

• 深度估计：用GwcNet或DenseStereoNet估计im1和im2的深度图，得到场景点云；
• 背景点云过滤：通过语义分割或背景分割提取静态背景的点云；
• ICP匹配：对im2（已知位姿）和im1的背景点云做点到面ICP匹配，求解im1的位姿；
  适用场景：双目相机内参已知，且场景有足够的静态结构

内容的提问来源于stack exchange，提问作者yangsen chen