Lucas-Kanade光流法跟踪点对欧氏距离远超预期的原因咨询

1. 对winSize的理解偏差 #

你认为winSize=21x21时最大位移不超过14.14px，这个结论只适用于无金字塔的LK光流，且是极端理想的边界限制假设。实际LK光流是通过最小化窗口内像素误差来求解运动向量，并非硬限制位移范围在窗口内——就算不用金字塔，当特征点真实位移超出窗口覆盖范围，LK也可能输出超出窗口的结果，只是此时跟踪已经失效，结果完全不可靠。

2. 金字塔对搜索范围的影响 #

图像金字塔确实会放大有效搜索范围：低分辨率层的1px对应原图的2^level px。比如设置maxLevel=3，最底层的21x21窗口对应原图的21*2^2=84px范围（金字塔层级从0开始计数）。但这绝对不是你看到500px位移的原因，这么大的位移说明跟踪已经完全失效。

3. 超大位移的核心原因：跟踪失效 #

出现500px级别的位移，本质是特征点跟踪失败，常见触发场景：

• 特征点所在区域在相邻帧中发生剧烈变化（物体移出画面、光照突变、被完全遮挡）
• 金字塔层数设置过高，低分辨率层丢失特征细节，导致光流求解错误
• 光流终止条件过于宽松（比如maxLevel过大、TermCriteria的迭代次数/精度阈值设置太松）
• 初始特征点稳定性差（比如角点响应值过低，是边缘或平坦区域的伪特征）

解决方案 #

• 过滤无效跟踪结果：利用cv::calcOpticalFlowPyrLK返回的status数组，只保留status[i] == 1的点——你看到的超大位移大概率是status为0的无效跟踪点。
• 调整光流参数：
  • 减小maxLevel（比如设为2），避免低分辨率层丢失关键特征
  • 收紧终止条件，示例：

    cv::TermCriteria criteria(cv::TermCriteria::COUNT + cv::TermCriteria::EPS, 30, 0.01);
    

• 筛选优质初始特征：用cv::goodFeaturesToTrack生成初始特征点时，提高qualityLevel（比如设为0.01）、增大minDistance（比如设为10），只保留稳定性高的角点。
• 额外位移阈值过滤：对跟踪成功的点，额外设置位移阈值（比如超过50px就标记为失效），结合status进一步筛选可靠结果。

内容的提问来源于stack exchange，提问作者Milan