无深度信息时，如何在相机坐标系拟合图像中真实共面点的平面方程？

针对无深度信息时，在相机坐标系中拟合现实世界同一平面对应图像点的问题，核心是利用单应性、消失线等投影几何特性，结合相机内参推导平面参数，具体方法如下：

方法一：基于单应性矩阵推导（需标注平面相对坐标） #

现实世界同一平面的点，其图像坐标与平面内的相对世界坐标满足单应变换关系：

s*[u;v;1] = K*H*[X;Y;0;1]

其中K为相机内参，H是单应矩阵，s是尺度因子，(X,Y)是平面内点的相对世界坐标（可自行设定，比如选建筑立面一角为原点，相邻边为X、Y轴，为图像点分配对应XY值）。

• 标注至少4组图像点与对应平面内的相对世界坐标，求解单应矩阵H；
• 结合相机内参K分解H，得到世界平面到相机坐标系的变换矩阵[R | t]；
• 由R的第三列得到平面法向量n，平面到相机光心的距离d = -n·t，最终平面方程为n·(P - t) = 0（P为相机坐标系下的点）。

方法二：利用消失线约束（无需世界坐标） #

同一平面上的平行直线在图像中会交于消失点，所有平面内的消失点共线，这条线就是消失线，它与平面法向量的关系为l = K*n（l为图像中消失线的坐标，n为相机坐标系下平面法向量）。

• 在图像中标注平面上至少两组平行直线（比如建筑的横竖边缘），分别计算每组直线的消失点；
• 连接消失点得到消失线l，结合相机内参的逆矩阵K^{-1}，求出平面法向量n = K^{-1}*l；
• 此方法仅能得到法向量方向，若需完整平面方程，需补充至少一个点的深度信息，或合理假设（比如建筑底部与相机光心的高度关系）。

方法三：带约束的最小二乘拟合（适合快速近似） #

相机坐标系下的点P=(x,y,z)与图像点(u,v)满足投影关系：

x = z*(u - cx)/fx，y = z*(v - cy)/fy

其中fx,fy,cx,cy是相机内参。将其代入平面方程ax + by + cz + d = 0，可整理为：

z*(a*(u-cx)/fx + b*(v-cy)/fy + c) + d = 0

• 引入合理约束（比如假设平面垂直地面，法向量y分量为0）；
• 用最小二乘法拟合参数a,b,c,d，得到近似平面方程。

关键前提 #

相机内参K是必备条件，若未获取，需先通过棋盘格等工具完成相机标定；若完全无内参、世界坐标、平行直线等信息，无法唯一确定平面——因为图像投影丢失了深度，存在无穷多平面可投影出相同图像点集。

内容的提问来源于stack exchange，提问作者Bob Rob