如何利用仅知目标y=0的共线点优化CV2单应性矩阵计算

我已采集到场地内的一组特征点（如upper_goal_point、left_upper_outer_corner等），对应点位参考附图：

我已知上述特征点在目标图像中的对应坐标，因此可通过如下代码计算单应性矩阵：

h, status = cv2.findHomography(pts_src, pts_dst)

此外我还采集到位于上边界线上的若干蓝色点（参考上方示意图），仅知晓这些点映射到目标图像后的y坐标为0（因这些点属于目标图上边界线），但未知其在该边界线上的精确横向位置。请问是否可以利用这些蓝色点提升单应性矩阵的计算精度？

补充说明 #

当前计算得到的单应性矩阵映射后，upper corner上边界线并非水平直线而是斜线，该结果不符合实际场景预期，效果参考附图：

结论 #

可以，这些蓝色边界点完全能用来提升单应性矩阵的计算精度，还能直接解决你现在上边界映射成斜线、不符合场景预期的问题。

原理 #

单应性矩阵是自由度为8的3×3平面投影变换矩阵。常规的一一对应特征点，每个点能提供2个约束（x、y方向坐标都匹配）。你手上的上边界蓝色点，虽然不知道映射后的x坐标，但每个点能提供1个确定约束：经单应矩阵投影后，点的y坐标必须等于0。这类部分坐标已知的对应点，完全可以作为有效约束加入单应矩阵求解过程，缩小参数解的可行范围，降低特征点标注误差带来的结果偏移。

操作步骤 #

• 先用手上所有坐标完整的特征点对，调用cv2.findHomography算出初始单应矩阵，作为后续优化的初值，能大幅减少迭代收敛时间、避免落入局部最优。
• 构建非线性最小二乘的总损失函数，由两部分误差加权求和得到：
  • 常规特征点重投影误差：对每个源点、目标点坐标都已知的点对，计算源点经当前H矩阵投影后的坐标，和真实目标点坐标的差值平方和。
  • 蓝色边界点约束误差：对每个只知道投影后y=0的源点，计算源点经当前H矩阵投影后的y坐标和0的差值平方和。你可以根据边界点的标注精度调整这部分的权重：如果点标得很准，权重可以和常规特征点一致；如果点的位置比较模糊，就适当调低权重。
• 用LM（列文伯格-马夸尔特）算法这类非线性最小二乘求解器迭代最小化总损失，就能得到优化后的单应矩阵。实现的时候不用自己写优化器，OpenCV自带的优化接口、scipy的optimize.least_squares、Ceres库都能快速搭好求解逻辑。

补充提示 #

你现在算出来的上边界是斜线，本质是现有特征点存在标注噪声。默认的cv2.findHomography求解不带任何场景先验，会把误差均匀分摊到整个平面的变换结果上，自然会把本应水平的边界拉斜。加入上边界点y=0的约束，相当于给求解加了符合实际场景的强先验，能强制把上边界对齐到目标图y=0的水平线上，结果肯定比只用全坐标点算的更准。
如果你的场景里还有其他确定的几何规则，比如边线互相垂直/平行、球门是固定尺寸的矩形之类的，也可以用同样的思路转成误差项加到优化里，精度还能进一步提升。

内容的提问来源于stack exchange，提问作者Yagel