光流估计与视差估计的区别是什么？二者有哪些其他差异及应用影响？

你观察到的时序采集维度差异是两者最直观的入门判定特征，除这个维度外，二者在几何约束、硬件要求、鲁棒性逻辑、落地导向层面的差异，直接决定了完全不同的技术选型边界：

估计目标的约束本质不同 #

• 光流估计的原生计算目标，是同一空间点在两帧成像中的二维像素位移向量，对位移方向没有强制约束：不管空间点是沿横向、纵向移动，还是沿相机光轴方向做纵深移动、随场景做旋转运动，只要能在两帧间找到视觉特征匹配关系，就会被纳入光流场的计算范围。哪怕现在不少高精度光流方法会引入极线约束优化匹配效果，这个约束也只是提升精度的可选模块，不是任务本身的原生要求。
  • 对应的应用影响：光流的计算结果天生存在尺度歧义——只能拿到像素层面的位移数值，没法直接换算成真实世界的物理距离，必须搭配额外的深度、传感器标定信息才能输出可靠的几何测量值。这种无方向约束的特性，让它非常适合做连续视频的像素关联类任务：比如视频帧插值补帧、运动目标跟踪、视频防抖，不需要严格的硬件标定就能快速跑通。
• 视差估计的原生计算目标，是同一时刻两个相机对同一空间点成像后的横向像素差值，搜索匹配结果时存在极强的原生几何先验：同一空间点在两个成像平面上的投影，必然落在对应极线的固定范围内，不存在脱离极线范围的匹配可能。视差值和深度的换算关系是完全确定的：深度 = （相机焦距 * 已知基线长度）/ 视差像素值，没有天然的尺度歧义。
  • 你观察到的“单台非立体相机在静态观测场景下会出现例外”的情况，本质是静态环境下单相机移动形成的视角差，和双目同步采集的视角差规律一致，这时候光流计算出的横向像素位移数值上和视差等价，但因为没有预先标定的固定基线长度，最终换算的深度依然存在尺度歧义，这也刚好说明：是否具备已知的标定几何基线，才是视差和光流的本质区分边界，和采集的时序、空间位置没有绝对绑定。
  • 对应的应用影响：因为有固定的几何先验约束，视差估计在静态场景下的计算效率、测距精度普遍高于通用光流方法，输出结果可以直接用于几何测量类任务，不需要额外做尺度校准。但它要求的前置条件更多，一旦基线标定偏差、极线校正不到位，误差会直接传导到下游任务。

对动态干扰的鲁棒性逻辑差异极大 #

• 光流估计的设计初衷就是处理时序连续帧的像素对应关系，只要动态目标在两帧间保持视觉特征连续，哪怕相机本身也在移动，光流场依然可以正确跟踪目标的运动；即使出现局部亮度变化、轻度遮挡，因为没有强几何约束的限制，匹配搜索的调整空间更大，鲁棒性优化的灵活度更高。
  • 对应的应用影响：光流在开放、非受控场景的泛用性更强，比如手持设备的视频稳定、开放道路的动态障碍物运动跟踪，不需要额外的动态点过滤步骤就能得到相对可靠的运动场结果。
• 视差估计因为是同一时刻两个独立相机的采集结果，对场景中的动态目标天生敏感：只要动态物体在两个相机毫秒级的曝光间隔里产生了像素级位移，匹配算法就会把不同位置的同名点错当成同一空间点，算出来的视差值完全失真，根本无法对应真实深度。
  • 对应的应用影响：视差估计更适合静态、受控的采集场景，比如工业流水线的工件尺寸测量、封闭室内的三维扫描，遇到存在动态目标的开放场景，必须额外加动态点检测、过滤的后处理步骤，不然测距结果的误差会直接影响下游决策。

输出结果的任务定位完全不同 #

• 光流场的核心定位是像素级的时序关联工具，本身不直接产出可用于几何决策的测量值，所有基于光流的几何测量（比如单目视觉里程计的深度估计），都需要额外的传感器信息补全尺度、约束关系。
• 视差图的核心定位是立体视觉链路的核心感知输出，本身就是直接服务于几何测量环节的中间结果，不需要额外的中间转换就能对接避障、三维重建类任务。

内容的提问来源于stack exchange，提问作者StanGeo