我在多视图三维重建的三角化环节踩过不少坑，针对你遇到的多视图下SVD线性求解误差显著增大的问题，给你几个经过实践验证的优化思路，按优先级排序：

1. 优先使用加权SVD（Weighted SVD） #

普通SVD会把所有视图的方程平等对待，但实际中不同视图的2D匹配点精度差异很大（比如有的视图点检测置信度高，有的是模糊匹配）。加权SVD能让精度高的点对结果产生更大影响：

• 给每个视图的2D点分配一个权重（比如用检测算法输出的置信度，或者点的重投影误差预估值），通常取权重的平方根来缩放对应方程；
• 将所有加权后的方程组合成一个超定矩阵，再做SVD求解齐次3D点X；
• 这种方法既保留了SVD的高效性，又能降低低精度点的干扰，是多视图三角化的基础优化手段。

2. 迭代重投影优化（非线性修正） #

线性SVD得到的是近似解，多视图下可以用非线性重投影误差最小化来修正结果，这是工业界的标准做法：

• 用SVD得到的3D点X作为初始值；
• 构造损失函数：Σ ||x_i - proj(P_i, X)||²，其中proj(P_i, X)表示3D点X通过投影矩阵P_i投影到图像平面的2D点；
• 用Levenberg-Marquardt（LM）算法迭代更新X，直到损失函数收敛；
• 这个过程相当于把线性解“拉回”到所有视图的最优匹配位置，能大幅降低多视图下的累积误差。

3. 鲁棒估计排除外点 #

多视图匹配中难免存在错误的2D点（外点），这些点会严重拉低三角化精度，必须处理：

• RANSAC预筛选：先随机选取几组视图对生成候选3D点，再统计所有视图中与候选点重投影误差小的点数量，选出内点最多的候选作为初始值，再用内点做后续优化；
• 鲁棒核函数：在重投影优化的损失函数中使用鲁棒核（比如Tukey's Biweight、Huber核），让外点的损失增长变慢，从而降低其对优化结果的影响。

4. 约束投影矩阵精度 #

有时候误差根源不是三角化算法，而是投影矩阵P本身的精度不足：

• 如果相机姿态是通过特征匹配估计的，建议先对所有相机姿态做全局优化（比如Bundle Adjustment同时优化相机参数和3D点），再做三角化；
• 确保相机内参标定准确，内参误差会直接传递到投影矩阵，进而影响三角化结果。

额外小技巧 #

• 齐次坐标处理：SVD解出的X是齐次形式，记得除以最后一个元素转换成非齐次3D坐标；
• 视图选择：尽量选择基线足够大的视图（相机之间距离不要太近），基线太小的视图对三角化的深度约束很弱，会放大误差。

内容的提问来源于stack exchange，提问作者Roulbacha