如何用Qt和OpenCV更高效地逐帧读取视频？

针对你用Qt+OpenCV读取1920*1280、30fps无压缩视频时cap >> frame耗时10-12ms的问题，以下是几种无需依赖GStreamer的加速方案：

1. 切换OpenCV VideoCapture后端 #

OpenCV默认的视频捕获后端可能不是最优选择，优先尝试切换到FFmpeg后端（前提是你的OpenCV编译时包含了FFmpeg支持），FFmpeg对视频容器解析和无压缩帧读取的效率更高。

代码示例：

bool MainWindow::foo()
{
    const std::string name = loadFileName.toStdString();
    // 显式指定FFmpeg后端
    cv::VideoCapture cap(name, cv::CAP_FFMPEG);
    if(!cap.isOpened()) 
        return false;
    cap.set(cv::CAP_PROP_BUFFERSIZE, 10); // 适当调大缓存
    cv::Mat frame;
    while (cap.isOpened())
    {
        CHiResTimer timer;
        timer.Start();
        cap >> frame;
        timer.Stop();
        // 后续处理逻辑
        if (frame.empty()) break;
        QTest::qWait(1);
    }
    frame.release();
    cap.release(); 
    return true;
}

可以通过cv::getBuildInformation()输出OpenCV的编译配置，确认是否包含FFmpeg支持。

2. 多线程异步读取+帧缓存 #

将视频读取逻辑放到独立线程中，和帧处理、回放逻辑解耦，后台线程提前读取多帧到安全队列，主线程按30fps的节奏从队列取帧，避免读取耗时阻塞主线程。

示例代码（基于Qt线程）：

// 定义读取线程类
class VideoReaderThread : public QThread
{
    Q_OBJECT
public:
    explicit VideoReaderThread(const QString& filePath, QObject* parent = nullptr)
        : QThread(parent), m_filePath(filePath), m_stop(false) {}
    
    void stop() {
        QMutexLocker locker(&m_mutex);
        m_stop = true;
    }

signals:
    void frameReady(cv::Mat frame);

protected:
    void run() override {
        cv::VideoCapture cap(m_filePath.toStdString(), cv::CAP_FFMPEG);
        if (!cap.isOpened()) return;
        cap.set(cv::CAP_PROP_BUFFERSIZE, 10);

        cv::Mat frame;
        while (!m_stop && cap.isOpened()) {
            cap >> frame;
            if (frame.empty()) break;
            // 发送帧到主线程
            emit frameReady(frame.clone());
            // 控制读取速度，避免队列溢出
            msleep(1);
        }
        cap.release();
    }

private:
    QString m_filePath;
    bool m_stop;
    QMutex m_mutex;
};

// 在MainWindow中使用
bool MainWindow::foo()
{
    VideoReaderThread* reader = new VideoReaderThread(loadFileName, this);
    connect(reader, &VideoReaderThread::frameReady, this, [this](cv::Mat frame) {
        // 主线程处理帧并回放
        CHiResTimer timer;
        timer.Start();
        // 你的帧处理逻辑
        timer.Stop();
        // 控制回放帧率（30fps≈33ms每帧）
        qint64 elapsed = timer.ElapsedMs();
        if (elapsed < 33) {
            QTest::qWait(33 - elapsed);
        }
    });
    connect(reader, &VideoReaderThread::finished, reader, &VideoReaderThread::deleteLater);
    reader->start();

    return true;
}

3. 直接读取原始无压缩视频数据 #

如果视频是无压缩格式（比如RAW像素流或未压缩AVI），可以跳过OpenCV的容器解析逻辑，直接用Qt的QFile读取原始像素数据，减少中间开销。

计算单帧字节数：192012803（假设是BGR24格式，若为其他格式需调整通道数），然后按帧读取：

bool MainWindow::foo()
{
    QFile file(loadFileName);
    if (!file.open(QIODevice::ReadOnly)) return false;

    const int frameWidth = 1920;
    const int frameHeight = 1280;
    const int frameSize = frameWidth * frameHeight * 3; // BGR24格式
    char* buffer = new char[frameSize];

    while (!file.atEnd()) {
        CHiResTimer timer;
        timer.Start();
        qint64 bytesRead = file.read(buffer, frameSize);
        if (bytesRead != frameSize) break;
        // 将读取的字节转成cv::Mat
        cv::Mat frame(frameHeight, frameWidth, CV_8UC3, buffer).clone();
        timer.Stop();
        // 处理帧并控制回放节奏
        if (frame.empty()) break;
        QTest::qWait(1);
    }

    delete[] buffer;
    file.close();
    return true;
}

注意：如果视频是带容器的无压缩格式（如AVI），需要先跳过文件头，或者用工具提取出原始像素流再读取。

4. 使用Qt Multimedia模块替代OpenCV #

Qt的Multimedia模块直接调用平台原生多媒体框架（如Windows Media Foundation），对本地视频的读取和帧提取优化更好，还支持硬件加速。

示例代码：

#include <QMediaPlayer>
#include <QVideoProbe>
#include <QVideoFrame>

bool MainWindow::foo()
{
    QMediaPlayer* player = new QMediaPlayer(this);
    QVideoProbe* probe = new QVideoProbe(this);

    connect(probe, &QVideoProbe::videoFrameProbed, this, [this](const QVideoFrame& frame) {
        CHiResTimer timer;
        timer.Start();
        // 将QVideoFrame转成cv::Mat或QImage
        QVideoFrame cloneFrame = frame;
        cloneFrame.map(QAbstractVideoBuffer::ReadOnly);
        cv::Mat mat(cloneFrame.height(), cloneFrame.width(), CV_8UC3, cloneFrame.bits());
        // 处理帧
        cloneFrame.unmap();
        timer.Stop();
        // 控制回放帧率
        qint64 elapsed = timer.ElapsedMs();
        if (elapsed < 33) {
            QTest::qWait(33 - elapsed);
        }
    });

    probe->setSource(player);
    player->setMedia(QUrl::fromLocalFile(loadFileName));
    player->play();

    return true;
}

总结 #

优先尝试切换OpenCV后端和调整缓存参数，这两个改动最小；如果仍不满足需求，多线程异步读取能有效隐藏读取耗时；对于无压缩视频，直接读取原始像素能跳过容器解析的开销；Qt Multimedia则是无需依赖OpenCV的替代方案，适合Qt环境下的视频处理。

内容的提问来源于stack exchange，提问作者msBirb