使用OpenCV+Python实现SFM时相对位姿可视化异常问题排查

1. 本质矩阵分解的位姿歧义未处理正确 #

cv2.recoverPose()从本质矩阵可解出4种位姿组合，函数返回的只是满足“三角化点在相机前方”的其中一个解，但如果特征匹配存在较多误匹配，或场景有大面积平面，很可能选到错误分支。

• 验证方法：计算三角化后的3D点深度，查看是否大部分为正。若大量点深度为负，说明位姿方向错误，直接将平移向量取反（t = -t），同时旋转矩阵转置（R = R.T）后重新计算位姿。

2. 相机位姿累积的变换方向搞反 #

你用每张图与第一张图配对求相对位姿，但累积位姿时必须明确坐标系变换方向：

• OpenCV中cv2.recoverPose()返回的R和t，是相机1到相机2的变换关系，即X_cam2 = R * X_cam1 + t。若第一张相机的世界位姿为R0 = 单位矩阵、t0 = 零向量（世界坐标系到相机坐标系的变换），第i张相机的世界位姿应按如下方式累积：

  Ri = R_rel @ R_prev
  ti = R_rel @ t_prev + t_rel
  

  要是直接把相对位姿的R和t当成相机世界位姿，或搞反矩阵乘法顺序，结果必然出错。另外，跨帧配对（如第3张直接和第1张配）的结果，最好和相邻帧累积的结果对比，不一致则说明匹配或分解存在问题。

3. 可视化坐标系未做转换 #

OpenCV的相机坐标系为右手系：X向右、Y向下、Z向前；但Matplotlib、Open3D等可视化库的坐标系通常Y轴向上，不做转换的话，姿态显示会完全扭曲。

• 关键注意：相机在世界坐标系中的位置不是t，而是-R.T @ t（相机中心在相机坐标系中是原点，代入位姿公式X_cam = R * X_world + t，可解出X_world = -R.T @ t）。直接用t作为相机位置是典型错误。

4. 特征误匹配干扰本质矩阵求解 #

就算匹配结果视觉上正常，少量顽固误匹配也会严重干扰本质矩阵的求解，进而导致位姿错误。

• 检查cv2.findEssentialMat()的RANSAC内点比例，若内点占比低于50%，必须优化匹配：比如用Lowe比值测试过滤匹配对，提高特征检测阈值，或采用交叉验证的匹配方式。本质矩阵对误匹配极敏感，外点过多会直接导致结果失效。

5. 相机内参不准确 #

如果内参矩阵K是假设值（如随便设定fx=fy=500），而非相机标定得到的准确值，本质矩阵求解和位姿恢复都会出现方向、尺度偏差，最终导致相机分布异常。必须使用标定后的真实内参。

6. 平移向量的尺度歧义未处理 #

本质矩阵只能恢复平移方向，无法确定尺度——cv2.recoverPose()返回的t是单位向量。若直接用这些单位向量可视化，相机位置的相对距离会完全失真，自然不符合预期。你需要通过三角化点的深度统一所有位姿的尺度，或在累积过程中保持尺度一致。

内容的提问来源于stack exchange，提问作者Arvn