光流深度学习

光流深度学习是一种利用神经网络来学习场景中运动信息的技术。它最初被用于计算机视觉领域中的跟踪和运动估计任务，如视频中移动物体的位置跟踪、运动补偿处理、视频压缩等。光流深度学习的目的是预测相邻帧之间的像素位移，并且可以从大量的数据中学习到映射规律，以此来估计场景中物体的运动轨迹和速度。

在深度学习之前，光流主要是通过光流算法来实现的。光流算法是一种传统的计算机视觉技术，其基本思想是利用相邻帧之间的像素变化来计算像素之间的位移或速度，然后通过参数拟合来获得运动模型。然而，传统的光流算法对于不同场景的适应性不强，其鲁棒性和准确性都存在一定的问题。

为了解决传统光流算法的问题，前沿的方法是采用基于深度学习的光流方法。光流深度学习可以使用多种深度神经网络模型来完成，从简单的卷积神经网络(CNN)到更复杂的循环神经网络(RNN)、残差网络(ResNet)等，其中最具代表性的模型是FlowNet和FlowNet2.0。

FlowNet是一个端到端、卷积神经网络，用于直接从两个输入帧中预测光流场。它由两个网络组成：FlowNetS和FlowNetC。FlowNetS使用轻量级的卷积网络结构来处理城市场景中具有大量细节的图像。而FlowNetC使用更深的卷积网络结构来提高光流的准确性，并适用于室内和室外拍摄环境的图像。

下图是FlowNetS的网络结构，它的输入是两个帧的RGB图像，输出