Qt QMediaPlayer如何关闭帧缓冲以降低RTSP流播放延迟

原因说明 #

Qt自带的QMediaPlayer本身没有提供直接修改帧缓冲大小、禁用缓冲的公开接口，延迟高的核心原因是其默认调用的系统多媒体后端（如Windows DirectShow、Linux GStreamer、macOS AVFoundation）默认开启了播放缓冲优化，会缓存足够多的帧再开始渲染，针对RTSP实时流场景适配很差。

方案1：现有QMediaPlayer代码调整（无需换库） #

1. 开启低延迟标识 #

你代码中已经注释了LowLatency构造参数，先取消注释，该参数会告知后端优先使用低延迟配置：

m_player = new QMediaPlayer(this, QMediaPlayer::LowLatency);

2. 关闭缓存、修改RTSP传输协议 #

优先用UDP传输RTSP流，相比TCP会大幅降低延迟，同时关闭媒体缓存：

// 构造QMediaPlayer后新增配置
m_player->setCacheMode(QMediaPlayer::NoCache);

修改RTSP连接逻辑，强制UDP传输：

void AmbaRemoteCam::slot_btnConnectRtsp_Clicked()
{
    m_player->stop();
    m_player->setMedia(QMediaContent()); // 清空上一次媒体缓存
    QString rtspUrl = m_mediaUrl->text();
    // 追加UDP传输参数，不同设备参数可能有差异，也可尝试?tcp=0
    if (!rtspUrl.contains("transport")) {
        rtspUrl += "?transport=udp";
    }
    m_player->setMedia(QUrl(rtspUrl));
    m_player->setPlaybackRate(1.0); // 原代码60倍速为错误配置，会导致播放异常
    m_player->play();
}

3. 配置后端环境变量 #

在main函数最开头添加以下环境变量，强制后端关闭缓冲优化：

int main(int argc, char *argv[])
{
    // GStreamer后端配置
    qputenv("QT_GSTREAMER_RTSP_BUFFER_SIZE", "0");
    qputenv("QT_GSTREAMER_UDP_CACHE", "200"); // 缓存200ms数据，可根据需要调低
    // FFmpeg后端配置
    qputenv("QT_FFMPEG_BUFFER_SIZE", "0");
    // 强制使用GStreamer后端（部分Windows Qt版本默认用DirectShow，无法调优）
    qputenv("QT_MEDIA_BACKEND", "gstreamer");

    QApplication a(argc, argv);
    AmbaRemoteCam w;
    w.show();
    return a.exec();
}

方案2：替换播放方案（延迟可控制在300ms以内） #

如果方案1调整后延迟仍不满足要求，说明QMediaPlayer的封装限制无法满足低延迟场景，建议更换方案：

• 自行基于FFmpeg解码RTSP流，解码后直接渲染到QOpenGLWidget/QWidget，完全自主控制缓冲队列大小，可做到0额外缓冲
• 使用libVLC-Qt第三方库，可直接通过接口设置RTSP网络缓存为200ms甚至更低，代码改造成本低
• Qt6环境可使用QMediaCaptureSession + QVideoSink低阶API，直接获取每一帧数据渲染，不需要等缓冲完成

内容的提问来源于stack exchange，提问作者Yuanhui