动态向运行中的GStreamer管线添加RTMP源遇卡顿问题求助

核心问题分析 #

问题本质是动态添加的源与管线全局时钟不同步，以及compositor的时间戳对齐逻辑冲突：

1. 直播源（如RTMP）默认使用自身流时钟，延迟添加时会与管线全局时钟产生时间戳偏差，触发QoS丢帧机制
2. 非直播源依赖文件内置时间戳，设置sync=false会破坏其进度控制逻辑，导致播放异常

具体修复步骤 #

1. 统一管线全局时钟

确保所有源使用管线的全局时钟，避免时钟偏移：

// 在管线启动完成后设置（比如autovideosink提供的时钟）
let sink = pipeline.by_name("autovideosink").unwrap();
if let Some(clock) = sink.clock() {
    pipeline.set_clock(Some(&clock)).unwrap();
}

2. 动态添加源时同步起始时间

在add_new_element中，启动源前将其起始时间对齐到管线当前运行时间：

// 修改add_new_element中的状态设置部分
source.set_start_time(pipeline.clock().unwrap().time().unwrap()).unwrap();
// 同步到管线当前状态，而非直接设为Paused
source.sync_state_with_parent().unwrap();

3. 优化Compositor Pad的时间偏差容忍度

给所有非直播源的sink pad设置max-lateness，允许一定的时间偏差：

// 在connect_pad_added中，设置sink_pad属性时添加
sink_pad.set_property("max-lateness", gst::ClockTime::from_mseconds(500).nseconds() as i64);

4. 针对直播源的特殊处理

对RTMP等直播源，在uridecodebin和compositor之间插入带漏桶机制的queue，避免帧堆积：

// 修改connect_pad_added中的链接逻辑
// 创建带漏桶的queue（丢弃旧帧）
let queue = gst::ElementFactory::make("queue")
    .property("leaky", 2) // 2=丢弃旧帧
    .property("max-size-buffers", 10)
    .build()
    .unwrap();
pipeline.add(&queue).unwrap();
queue.sync_state_with_parent().unwrap();

// 链接uridecodebin -> queue -> compositor
src_pad.link(&queue.static_pad("sink").unwrap()).unwrap();
queue.static_pad("src").unwrap().link(&sink_pad).unwrap();

5. 区分直播与非直播源的sync设置

可以通过URI判断是否为直播源，仅对直播源设置sync=false：

// 在add_new_element中，创建source时判断
let is_live = uri.starts_with("rtmp://") || uri.starts_with("rtsp://");
let source = gst::ElementFactory::make("uridecodebin")
    .property("uri", uri)
    .property("sync", !is_live) // 直播源关闭sync
    .build()
    .unwrap();

内容的提问来源于stack exchange，提问作者Le G