基于DLT的相机位姿估计需多少2D-3D点对应？及OpenCV实现疑问

嘿，这个问题当初我刚入门相机位姿估计时也卡了好久，完全能理解你的困惑！咱们一步步把这层窗户纸捅破：

一、为什么你会觉得需要6组点？——无约束线性DLT的逻辑 #

你提到的“6组点对应关系”，是无约束线性DLT算法的要求，背后的逻辑是这样的：

• 位姿矩阵[R | T]是3×4的矩阵，乍一看有12个元素，但相机投影方程是齐次形式——矩阵可以乘以任意非零常数，投影结果不变，所以实际需要求解的是11个独立自由度（相当于把矩阵的尺度固定了）。
• 每个2D-3D点对能提供2个线性独立的方程（齐次方程里第三个是冗余的），所以理论上需要至少6组点（6×2=12个方程）来超定求解这11个自由度。
• 但这里有个关键前提：线性DLT没有施加旋转矩阵R的正交约束（也就是没要求R满足R^T R = I和det(R)=1），所以解出来的矩阵只是一个普通的3×4矩阵，之后还得用SVD等方法把它正交化，才能得到真正的旋转和平移矩阵。

二、为什么solvePnP只需要4个点？——利用几何约束的非线性求解 #

OpenCV的solvePnP默认用的是P3P算法（当点数量刚好是4个时），这和线性DLT的思路完全不一样：

• P3P算法抓的是透视投影的几何本质：对于3个不共线的3D点，它们在相机坐标系下的投影点，和相机光心组成的三角形，与原3D点组成的三角形满足严格的余弦定理约束。通过这些非线性方程，最多能解出4种可能的位姿。
• 这时候第4个点就派上用场了：把4种候选位姿代入验证，排除不符合的，剩下的就是正确的位姿。
• 简单说，它不是把问题当成纯线性方程组来凑方程数量，而是利用了3D-2D投影之间的几何约束，所以只需要最少4个点（其中3个不能共线）就能搞定。

三、核心差异一句话总结 #

• 无约束线性DLT：不考虑旋转矩阵的正交性，靠纯线性方程组求解，需要至少6个点，解后还要正交化；
• solvePnP（P3P）：利用透视几何的非线性约束，只需要4个点就能直接得到满足正交性的合法位姿。

内容的提问来源于stack exchange，提问作者chrizog