多相机视图下已知像素坐标兴趣点的对应关系求解问询

我正在开展一个项目，通过霍夫直线交点在左、中、右三个相机视图里各识别出9个兴趣点。已知这些点的像素坐标，但跨三个视图的点对应关系完全未知。相机已经完成标定，内参和外参都拿到了。我的目标就是搞清楚左视图里的每个点，在中视图、右视图里对应的位置是哪个。

已试过的无效方法 #

• 计算点的特征描述子然后暴力匹配：效果特别差，估计是因为点周围的区域相似度太高，根本区分不开。
• 2D转3D反向投影找射线交点：因为所有点都在同一个平面上，这个方法的复杂度比预想的高太多，根本没法实际用。

可行的解决思路 #

1. 平面约束+单应性矩阵匹配 #

既然所有点都在同一平面，三个视图之间的投影变换可以用单应性矩阵H来描述：

• 用已知的相机内参、外参，推导左→中、左→右的单应性矩阵（平面场景下，单应性矩阵可以通过相机姿态直接计算）。
• 对左视图里的每个点p_left，用单应性矩阵算出它在中/右视图的预测位置p_pred = H * p_left，然后在对应视图的9个点里找离p_pred最近的点，作为对应点。
• 最后做一致性验证：如果大部分点的匹配结果都符合平面投影的规律，就能确认对应关系是对的。

2. 相对位置约束匹配 #

同一平面上的点集，投影到不同视图后，点之间的相对拓扑关系不会变：

• 给每个视图的9个点生成距离矩阵：比如每个点到另外8个点的欧氏距离，归一化后保存。
• 对左视图的点A，在中视图的点里找距离矩阵和A最相似的点，这个点就是A的对应点。
• 可以加个校验：比如点A对应点B，点C对应点D，那A到C的距离和B到D的距离，在投影误差范围内应该是一致的，不一致就说明匹配错了。

3. 射线+平面交点法 #

先利用其中一个视图的点拟合出3D平面，再反向投影匹配：

• 拿中视图的点反向投影成射线，结合相机外参，用这些射线拟合出3D平面的方程ax+by+cz+d=0。
• 把左视图的每个点反向投影成射线，计算射线和这个平面的交点，得到该点的3D坐标。
• 再把这个3D坐标投影到中/右视图，得到预测的像素位置，匹配对应视图里最接近的点。
• 这种方法比直接找所有射线交点简单多了，因为平面约束把自由度降下来了。

内容的提问来源于stack exchange，提问作者damnghost