移动无人机拍摄建筑立面图像生成无配准误差全景图的方法咨询

可行解决方案 #

针对建筑立面采集存在大幅光心偏移的图像拼接场景，可采用以下方案实现无明显配准误差的拼接结果：

• 基于立面平面先验的SfM辅助拼接
  你的采集目标是平面建筑立面，可先对全量图像运行运动恢复结构（SfM）算法，得到每帧图像的内参、外参（位姿）以及稀疏点云，基于立面点云拟合出目标建筑的立面平面方程，随后将所有图像统一投影到该平面上完成融合。该方案利用了场景的强几何先验，从根本上避免了传统全景拼接假设光心纯旋转带来的配准误差，是此类场景的首选方案。如果有无人机自带的GPS、IMU数据，可作为SfM的初始值大幅提升重建和配准效率。
• 大视差专用拼接算法
  若不想引入完整SfM流程，可替换传统全局单应配准的拼接管线，改用适配大视差的配准算法：
  • 传统算法可选用APAP（尽可能投影）算法，将图像划分为密集网格，每个网格单独计算单应并做全局平滑约束，相比全局单应对光心偏移的场景适配性更强，能有效减少重影和配准误差
  • 深度学习方案可选用SwinStitcher、STFusion等近年开源的拼接模型，对大视差、光心偏移的场景鲁棒性远高于OpenCV默认的Stitcher类
• 分阶段拼接工程优化
  可先按采集航线对图像分组，比如单次垂直飞行的图像为一组，先完成组内小范围拼接得到子拼接块，再对所有子拼接块做二次配准和全局拼接。分组后组内图像的重合度更高、视差更小，特征匹配的准确率远高于全量图像直接匹配，能大幅提升拼接成功率和精度。

现有误差原因说明 #

你当前用到的传统拼接管线默认假设相机拍摄时仅发生旋转、光心位置完全不变，而你的采集场景存在大幅光心平移，不符合算法假设，因此直接使用会出现配准误差、全量数据集拼接失败的问题。

参考材料 #

你提供的配准误差示例：

数据集中的原图示例：

内容的提问来源于stack exchange，提问作者Sarvesh Thakur