如何用OpenCV C++高效实现视频帧定位与流畅播放？

初始方案及存在的问题 #

方案一：实时逐帧定位读取 #

每次播放前通过cap.set()定位到指定帧再读取，代码如下：

int frameIdx = 0; /// 被其他线程访问

cv::VideoCapture cap("video.mp4");
while (true) {
  cv::Mat frame;
  cap.set(cv::CAP_PROP_POS_FRAMES, frameIdx);
  cap.read(frame);
  showFrameToWindow(frame);
  frameIdx++;
}

问题：播放速度过慢，无法达到20~30fps的播放帧率，推测是每次cap.read()前的定位操作带来了额外性能开销。

方案二：预加载所有帧到内存 #

先将视频所有帧预加载到std::vector中，播放时直接从内存读取：

int frameIdx = 0; /// 被其他线程访问
 
std::vector<cv::Mat> buffer;

cv::VideoCapture cap("video.mp4");
while (true) {
  cv::Mat frame;
  cap >> frame; 
  if (frame.empty()) break;
  buffer.push_back(frame);
}

while (true) {
  cv::Mat frame = buffer[frameIdx].clone();
  showFrameToWindow(frame);
  frameIdx++;
}

问题：播放速度达标，但内存占用过高，无法适配大体积视频文件。

基于以上问题，我设想将std::vector替换为固定大小的std::queue缓冲，并通过多线程在播放时动态更新缓冲，但不确定该思路是否可行，同时想了解处理大视频文件帧定位的通用算法，希望得到相关建议。

改进后的多线程缓冲方案 #

我基于方案二进行了改进，采用固定大小帧缓冲+多线程的方式实现，代码如下：

全局共享变量 #

#define BUF_MAX 64
bool s_videoFileLoaded;
double s_videoFileHz; // 每帧毫秒数
int s_videoFileFrameCount;
bool s_seek;
int s_seekingIndex; // 视频文件索引，与UI绑定
std::queue<cv::Mat> s_frameBuffer;
std::queue<int> s_indexBuffer;
std::mutex s_mtx;

注：当手动拖动UI滑块时，将s_seek设为True

主线程（播放逻辑） #

cv::VideoCapture cap("video.mp4");
s_videoFileLoaded = true;
s_videoFileFrameCount = cap.get(cv::CAP_PROP_FRAME_COUNT);
s_videoFileHz = 1000.0 / cap.get(cv::CAP_PROP_FPS);
s_seekingIndex = 0;

runThread( std::bind(&_videoHandlingThreadLoop, cap) );

Timer timer;
while (s_videoFileLoaded) {
    timer.restart();
    {
        std::lock_guard<std::mutex> lock(s_mtx);
        if (s_frameBuffer.empty())
            continue;
        cv::Mat frame = s_frameBuffer.front();
        s_seekingIndex = s_indexBuffer.front();
        s_frameBuffer.pop();
        s_indexBuffer.pop();
        showFrameToWindow(frame);
    }
    int remain = s_videoFileHz - timer.elapsed();
    if (remain > 0) Sleep(remain);
}

视频处理线程（帧读取与缓冲维护） #

void _videoHandlingThreadLoop(cv::VideoCapture& cap) {
    s_seek = true;
    int frameIndex = -1;
    while (s_videoFileLoaded) {
        if (s_frameBuffer.size() > BUF_MAX) { 
            Sleep(s_videoFileHz * BUF_MAX);
            continue;
        }

        // 检查是否需要执行定位操作
        if (s_seek) {
            std::lock_guard<std::mutex> lock(s_mtx);

            // 清空缓冲
            s_frameBuffer = std::queue<cv::Mat>(); 
            s_indexBuffer = std::queue<int>();
            
            frameIndex = s_seekingIndex;
            cap.set(cv::CAP_PROP_POS_FRAMES, frameIndex);
            s_seek = false;
        }
        
        // 从文件读取帧并加入缓冲
        cv::Mat frame;
        if (cap.read(frame)) {
            std::lock_guard<std::mutex> lock(s_mtx);
            s_frameBuffer.push(frame);
            s_indexBuffer.push(frameIndex);
            frameIndex++;
        }

        // 检查是否到达视频末尾
        if (frameIndex >= s_videoFileFrameCount) {
            s_seekingIndex = 0;
            s_seek = true;
        }
    }
}

现状：该方案可以稳定播放视频，但手动拖动滑块进行帧定位时仍存在明显延迟，希望得到针对性的优化建议。

内容的提问来源于stack exchange，提问作者wsys