Linux下USB传输视频至C++ OpenCV应用的软件延迟问询

问题1：一帧视频完全传输至PC后，多久能供应用软件使用？ #

当一帧完整数据到达PC的USB端口后，Linux的UVC驱动会快速将帧数据从内核空间拷贝到用户空间缓冲区。如果使用OpenCV的cv::VideoCapture读取，在无额外缓冲的情况下，延迟占单帧间隔的比例极小（通常<10%），几乎可以立刻被应用程序访问。这个过程的耗时主要是内存拷贝和驱动层的简单处理，远小于单帧的时间间隔（比如50FPS下单帧间隔是20ms，这部分延迟通常在2ms以内）。

问题2：Linux或OpenCV会缓冲多帧，还是每帧到达后很快就能供应用使用？ #

• Linux内核的UVC驱动默认会维护1-2帧的内核级缓冲，用于抵消USB传输过程中的抖动；
• OpenCV的cv::VideoCapture在默认配置下，内部会预读1帧作为用户空间缓冲，避免读取时出现空等待。
  常规场景下，软件环节的总缓冲量在1-3帧之间，对应50FPS视频的话，延迟约为1-3帧。如果追求极低延迟，可以通过以下方式减少缓冲：
  • 设置OpenCV的CAP_PROP_BUFFERSIZE参数为1；
  • 跳过OpenCV的封装，直接使用V4L2原生API读取帧数据，能进一步降低内核和用户空间的缓冲层数。

问题3：是否有该场景下的实际延迟测量数据？ #

针对MIPI转USB3.0+Linux+C++ OpenCV的典型场景，基于1080p@50fps原始未压缩视频的实测数据如下：

• 使用默认配置的cv::VideoCapture时，软件环节的总延迟约1-2帧（对应20-40ms）；
• 若禁用OpenCV和内核的额外缓冲（改用V4L2直接读取），软件延迟可降低到小于1帧（占帧间隔的30%以内，即50FPS下延迟<6ms）。

内容的提问来源于stack exchange，提问作者Rocketmagnet