使用input-selector从VOD切换到RTMP直播流的问题排查

你遇到的DTS回退、播放器缓冲、音视频不同步问题，本质都是VOD与直播流的时间戳对齐失败：VOD流播放60秒后时间戳已推进到几十秒，但新增直播流的初始时间戳从0开始，即便加了ts-offset，也因计算时机或时间戳基准错误，导致切换后时间戳突然回退，触发flvmux警告并引发后续连锁问题。

以下是针对性的解决步骤与代码修改：

1. 修正直播流时间戳对齐逻辑 #

ts-offset的静态设置方式无法适配live流的动态时间戳，改用clock-time-offset基于管道运行时间动态对齐，确保live流的起始时间戳直接衔接VOD流的当前时间：

def _create_live_bin(self):
    self.live_bin = Gst.Bin.new("live_bin")

    live_src = Gst.ElementFactory.make("rtmpsrc", "live_src")
    live_src.set_property("location", "rtmp://localhost:1936/live/test")
    live_decoder = Gst.ElementFactory.make("decodebin", "live_decoder")

    # 替换ts-offset为clock-time-offset，基于管道已运行时间计算偏移
    live_video_identity = Gst.ElementFactory.make("identity", "live_video_identity")
    live_audio_identity = Gst.ElementFactory.make("identity", "live_audio_identity")
    
    # 计算管道已运行时间，让live流从该时间点开始计时
    pipeline_running_time = self.pipeline.get_clock().get_time() - self.start_time
    live_video_identity.set_property("clock-time-offset", pipeline_running_time)
    live_audio_identity.set_property("clock-time-offset", pipeline_running_time)

    # 开启同步、丢弃旧缓冲、启用单段模式
    live_video_identity.set_property("sync", True)
    live_audio_identity.set_property("sync", True)
    live_video_identity.set_property("drop-buffer-flags", Gst.BufferDropFlags.ALL)
    live_audio_identity.set_property("drop-buffer-flags", Gst.BufferDropFlags.ALL)
    live_video_identity.set_property("single-segment", True)
    live_audio_identity.set_property("single-segment", True)

    # 后续bin构建、链接代码保持不变...

2. 优化流切换时机，避免播放器缓冲 #

切换时等待live流的第一个关键帧再触发切换，让播放器无需缓冲即可解码：

def add_live_stream(self):
    print("Adding live stream dynamically...")
    live_bin = self._create_live_bin()
    self.pipeline.add(live_bin)

    video_sink1 = self.video_selector.get_request_pad("sink_%u")
    audio_sink1 = self.audio_selector.get_request_pad("sink_%u")
    live_bin.get_static_pad("video_sink").link(video_sink1)
    live_bin.get_static_pad("audio_sink").link(audio_sink1)

    live_bin.sync_state_with_parent()

    # 等待live视频关键帧后再同步切换音视频流
    def wait_for_keyframe(pad, info, user_data):
        if info.flags & Gst.BufferFlags.KEYFRAME:
            print("Received live keyframe, switching streams...")
            self.video_selector.set_property("active-pad", video_sink1)
            self.audio_selector.set_property("active-pad", audio_sink1)
            pad.remove_probe(info.id)
            return Gst.PadProbeReturn.OK
        return Gst.PadProbeReturn.PASS

    # 给live视频pad添加探针，等待关键帧
    live_video_pad = live_bin.get_static_pad("video_sink")
    live_video_pad.add_probe(Gst.PadProbeType.BUFFER, wait_for_keyframe, None)

3. 调整flvmux与队列配置，适配实时流 #

缩小队列缓冲时长，开启flvmux严格时间戳检查：

def create_vod_pipeline(self):
    # ... 其他代码不变 ...
    flv_mux = Gst.ElementFactory.make("flvmux", "flv_mux")
    flv_mux.set_property("streamable", True)
    flv_mux.set_property("strict", True)  # 启用严格时间戳检查

    video_queue_mux = Gst.ElementFactory.make("queue", "video_queue_mux")
    audio_queue_mux = Gst.ElementFactory.make("queue", "audio_queue_mux")
    # 缩小缓冲至0.5秒，适合实时切换
    video_queue_mux.set_property("max-size-time", 500000000)
    audio_queue_mux.set_property("max-size-time", 500000000)
    # ... 其他代码不变 ...

4. 修正管道时钟配置 #

移除手动设置的start_time和base_time，让GStreamer自动处理时钟同步：

def run(self):
    self.create_vod_pipeline()
    system_clock = Gst.SystemClock.obtain()
    self.pipeline.use_clock(system_clock)
    # 注释掉手动设置的时间参数
    # self.pipeline.set_start_time(0)
    # self.pipeline.set_base_time(0)
    self.pipeline.set_state(Gst.State.PLAYING)
    # ... 其他代码不变 ...

额外注意事项 #

• 确保直播流与VOD流的编码参数（分辨率、帧率、采样率）一致，否则切换后播放器需重新初始化，仍会触发缓冲。
• 若使用GStreamer 1.18+版本，input-selector的sync-streams属性可自动处理流切换时的时间戳对齐，无需额外手动调整。

内容的提问来源于stack exchange，提问作者venkatesh