基于Qt QML与GStreamer的视频播放问题求助

1. YUV NV12转RGB的替代方案 #

方案1：GStreamer管道内完成转换（推荐） #

直接在GStreamer管道中加入videoconvert和videoscale元素，让硬件解码后的帧在管道内完成格式转换和尺寸缩放，无需在代码中用OpenCV处理，大幅降低CPU开销：

gst-launch-1.0 udpsrc port=11000 caps="media=(string)video,encoding=(string)H264,clock-rate=900000" ! rtph264depay ! omxh264dec ! videoconvert ! video/x-raw,format=RGB,width=500,height=300 ! appsink sync=false drop=true

此时AppSink直接拿到符合QML要求的RGB格式帧，代码中只需将缓冲区数据直接封装为QImage即可。

方案2：轻量级转换库libyuv #

替代OpenCV，使用Google的libyuv库完成YUV到RGB的转换，库体积小、转换效率高，适合嵌入式或资源受限场景，核心转换示例：

#include "libyuv.h"

// NV12转RGB24
libyuv::NV12ToRGB24(
    bufferInfo.data, width,  // Y平面数据及步长
    bufferInfo.data + width * height, width,  // UV平面数据及步长
    rgb_data, width * 3,  // RGB输出数据及步长
    width, height
);

方案3：Qt原生YUV处理 #

利用Qt的QVideoFrame直接处理NV12格式，通过QAbstractVideoBuffer将GStreamer缓冲区包装为Qt视频帧，再转换为QImage，避免第三方库依赖：

QVideoFrame frame(QSize(width, height), QVideoFrame::Format_NV12);
frame.map(QAbstractVideoBuffer::WriteOnly);
memcpy(frame.bits(), bufferInfo.data, bufferInfo.size);
frame.unmap();
self->m_image = frame.toImage();

2. 内存泄漏排查与修复 #

核心问题点 #

1. 静态cv::Mat变量内存积累：代码中静态的yuvMat、rgbMat、scaledMat会持续占用内存，且每次赋值时旧内存未及时释放。
2. QImage浅拷贝导致悬空指针：QImage(scaledMat.data, ...)未深拷贝数据，当scaledMat内存释放后，QImage指向无效内存，引发内存管理混乱。
3. GStreamer缓冲区映射失败时的资源泄漏：原代码未判断gst_buffer_map的返回值，若映射失败会跳过unmap操作。

修复后的代码示例 #

GstFlowReturn ImageProvider::newSample(GstAppSink *sink, gpointer gSelf)
{
    ImageProvider* self = static_cast<ImageProvider*>(gSelf);
    GstSample* sample = gst_app_sink_pull_sample(GST_APP_SINK(sink));
    if(!sample)
        return GST_FLOW_OK;

    GstBuffer* sampleBuffer = gst_sample_get_buffer(sample);
    if(sampleBuffer)
    {
        GstMapInfo bufferInfo;
        if(gst_buffer_map(sampleBuffer, &bufferInfo, GST_MAP_READ))
        {
            // 使用临时Mat，函数结束后自动释放内存
            cv::Mat yuvMat(height + height/2, width, CV_8UC1, bufferInfo.data);
            cv::Mat rgbMat;
            cv::cvtColor(yuvMat, rgbMat, cv::COLOR_YUV2RGB_NV12);
            cv::Mat scaledMat;
            cv::resize(rgbMat, scaledMat, cv::Size(500, 300));

            // 深拷贝QImage，避免悬空指针
            QImage tempImg(scaledMat.data, scaledMat.cols, scaledMat.rows, QImage::Format_RGB888);
            self->m_image = tempImg.copy();

            if(!self->m_image.isNull())
            {
                emit self->imageChanged();
            }

            gst_buffer_unmap(sampleBuffer, &bufferInfo);
        }
    }

    gst_sample_unref(sample);
    return GST_FLOW_OK;
}

额外排查手段 #

• 使用valgrind或Qt Creator内置的内存检测工具，定位具体泄漏点；
• 检查GStreamer管道是否存在帧堆积，可通过appsink drop=true参数丢弃旧帧，避免缓冲区溢出。

3. 播放卡顿问题解决 #

可能原因及修复 #

1. 帧堆积导致的卡顿：原管道appsink sync=false会让GStreamer持续推送帧，若UI线程处理不及时会引发堆积。修改为appsink sync=false drop=true，当队列满时自动丢弃旧帧。
2. CPU占用过高：OpenCV转换+缩放消耗大量CPU，改用GStreamer管道内的硬件加速转换/缩放（见问题1的方案1），将负载转移到硬件。
3. 线程调度冲突：newSample在GStreamer线程执行，若转换/缩放耗时过长，会阻塞GStreamer的帧处理流程。将转换逻辑移至独立工作线程，或直接在管道内完成处理。
4. QML渲染优化：在LiveVideoImage构造函数中添加setFlag(QQuickItem::ItemHasContents, true)，减少不必要的重绘；优先使用QImage::Format_ARGB32格式，提升QPainter渲染效率。

内容的提问来源于stack exchange，提问作者Vikas Singh