SFM三维重建时三角化3D点得到抛物面扭曲散点图的原因是什么

两种公式的差异完全来自资料作者的坐标约定规则，无绝对对错，只需和同一份资料的推导逻辑保持一致即可：

• 标准推导逻辑下：本质矩阵（Essential Matrix, E）描述归一化成像平面的点对约束，基础矩阵（Fundamental Matrix, F）描述像素平面的点对约束。若像素齐次坐标x和归一化齐次坐标x'满足x = K x'（K为相机内参矩阵），代入基础矩阵约束x2^T F x1 = 0可推导出E = K^T F K，即你看到的第二种公式。
• 第一种公式E = (K^{-1})^T F K的来源是资料作者将坐标转换规则定义为x' = K x，和标准规则相反，因此公式形式发生变化。
• 你当前使用cv2.findEssentialMat()接口直接计算本质矩阵，无需手动通过基础矩阵转换，只要传入的相机内参是标定得到的正确值，就不需要纠结两种公式的差异。

Z值全为负问题 #

该问题来自坐标系约定冲突，两种解决路径：

• 校验cv2.recoverPose()的输入点顺序：本质矩阵分解旋转矩阵（Rotation Matrix, R）和平移向量（Translation Vector, T）时存在4种歧义解，若传入的前帧、后帧特征点顺序颠倒，会得到符号反向的T，直接导致3D点Z值全部为负。
• 若确认位姿求解逻辑正确，可直接将所有3D点的Z坐标乘-1，或调整3D可视化工具的坐标轴方向即可解决。

抛物面扭曲问题 #

该现象为增量式运动恢复结构（Structure From Motion, SFM）的典型问题，称为场景弯曲，核心原因是无优化环节导致的误差累计，修复方案按优先级排序：

1. 新增特征匹配外点过滤步骤：cv2.FlannBasedMatcher()得到的匹配结果存在大量误匹配，需先通过Lowe's比值检测、随机抽样一致（Random Sample Consensus, RANSAC）过滤外点，再传入后续步骤计算本质矩阵，可大幅提升位姿求解精度。
2. 新增束调整（Bundle Adjustment, BA）环节：你当前的纯增量式位姿求解无全局优化环节，每一步的位姿误差会持续累加最终导致场景扭曲。需在完成每帧位姿求解和三角化后，调用局部BA优化相邻帧的位姿和对应的3D点坐标，所有帧处理完成后调用全局BA优化所有变量，从根源上解决累计误差问题。
3. 优化增量位姿求解逻辑：不要每两帧都通过本质矩阵求解位姿，前两帧完成初始化得到稀疏3D点后，后续帧先提取特征和已有3D点做匹配，再通过透视n点（Perspective n Points, PnP）求解当前帧位姿，再三角化新的3D点，可大幅降低误差累计速度。
4. 校验相机标定精度：张氏标定法得到的内参和畸变系数精度不足时，也会引发投影误差导致场景弯曲，可重新采集更多角度、更多姿态的标定板图片，提升标定精度。

你提到的帧间基线过小的问题，抽稀后效果无改善说明该问题不是核心诱因，可先验证前两帧初始化得到的3D点是否正常：若前两帧结果已扭曲，则排查初始化的位姿求解、三角化逻辑；若前两帧正常，后续加帧后才出现扭曲，则重点排查累计误差相关的优化环节。

1. 普通刚性SFM假设场景为静态刚性物体，而人脸属于非刚性物体，表情变化会导致匹配误差，建议优先采集中性表情的人脸视频做输入，或引入3D形变模型（3D Morphable Model, 3DMM）作为约束，可大幅提升重建精度。
2. 人脸纹理重复性高，尺度不变特征变换（Scale-Invariant Feature Transform, SIFT）特征容易出现误匹配，建议改用Dlib人脸关键点、SuperPoint深度学习特征点等专用特征，提升匹配准确率。
3. 若需要得到稠密人脸点云，完成稀疏SFM后可新增多视图立体匹配（Multi-View Stereo, MVS）环节，也可直接调用DECA、PRNet等成熟的人脸重建深度学习模型，开发效率远高于从零实现SFM pipeline。

内容的提问来源于stack exchange，提问作者user6305497