如何利用goodFeaturesToTrack获取图像序列帧间的点对应关系？

一、KLT跟踪的核心流程 #

KLT是光流跟踪算法，无需描述子即可直接在连续帧间建立点对应关系，核心步骤如下：

• 检测初始特征点：调用cv::goodFeaturesToTrack()在首帧（或当前帧）检测高对比度的角点类特征，这类点具备易跟踪的特性。
• 帧间跟踪特征：使用cv::calcOpticalFlowPyrLK()对已检测的特征点，在下一帧中寻找对应的跟踪点。该函数会返回跟踪成功的标记，自动过滤跟踪失效的点。
• 筛选有效点对：根据跟踪状态标记，保留前帧与后帧之间有效的点对应关系。

二、从KLT点对估计帧间运动 #

拿到可靠的点对应后，即可推导相机运动：

• 估计本质/基础矩阵：已知相机内参时用cv::findEssentialMat()，未知内参时用cv::findFundamentalMat()，传入筛选后的点对求解矩阵。
• 分解运动参数：通过cv::recoverPose()从本质矩阵中分解出旋转矩阵R和平移向量t。
• 尺度归一化：将平移向量t除以其L2范数，得到范数为1的尺度归一化平移向量。

三、为何给goodFeaturesToTrack的点计算ORB描述子效果差？ #

你总结的两点原因完全准确：

• ORB描述子依赖关键点的方向信息：ORB在检测时会计算关键点的主方向，描述子基于该方向旋转后的邻域生成；而goodFeaturesToTrack()输出的点无方向属性，强行计算的描述子不具备旋转不变性，匹配效果自然糟糕。
• 尺度层级（octave）不匹配：ORB关键点在多尺度金字塔上检测，带有octave属性，描述子对应特定尺度；但goodFeaturesToTrack()仅在单尺度图像上检测，无octave信息，导致描述子的尺度适应性极差。

四、KLT跟踪的优化技巧 #

• 定期补充特征点：跟踪过程中部分特征会因移出画面、纹理消失丢失，每隔N帧用goodFeaturesToTrack()重新检测补充新点，保证跟踪点的数量与质量。
• 使用金字塔光流：cv::calcOpticalFlowPyrLK()默认支持金字塔光流，可处理较大帧间运动，提升跟踪鲁棒性。
• RANSAC过滤外点：估计本质/基础矩阵时启用RANSAC算法，过滤跟踪错误的外点，提升运动估计精度。

内容的提问来源于stack exchange，提问作者AlAhm