GStreamer动态为tee新增splitmuxsink分支时生成的MP4无法播放

核心问题根源 #

• 状态切换顺序完全违反GStreamer的状态管理规则
  • 代码中在新元素尚未被加入pipeline时，就单独对queue2、h264parse2、splitmux2设置PAUSED状态。未纳入bin管理的元素不在pipeline的统一状态调度树内，这种手动设置状态的操作完全无效，还会导致元素加入pipeline时状态与整体脱节，切回PLAY状态时出现流数据不对齐。
• 实时源的PAUSED状态无法为新分支提供可用的preroll关键帧
  • v4l2src是典型的实时源，在PAUSED状态下仅会暂停流输出，不会专门缓存带SPS/PPS参数的IDR关键帧做全局preroll。新接入的分支直接从非关键帧开始接收数据，splitmuxsink初始化MP4视频轨道参数时拿不到完整的H.264流配置，写入的moov原子格式错误，生成的文件自然无法被VLC播放。
• 未对新分支做关键帧对齐处理就启动录制
  • splitmuxsink写入MP4有硬性要求：必须从带GST_BUFFER_FLAG_SYNC标记的关键帧开始录制。当前代码直接连通tee的新输出pad和录制分支，分支接收到的首个流数据可能是无参数的P帧，直接写入就会生成损坏的文件。

代码中的具体错误点 #

• 提前设置独立元素状态的代码块是冗余且错误的：

  // 错误：此时元素未加入pipeline，set_state操作无实际意义
  assert(GST_STATE_CHANGE_ASYNC == gst_element_set_state (splitmux2, GST_STATE_PAUSED));
  assert(GST_STATE_CHANGE_SUCCESS == gst_element_set_state (h264parse2, GST_STATE_PAUSED));
  assert(GST_STATE_CHANGE_SUCCESS == gst_element_set_state (queue2, GST_STATE_PAUSED));
  

• 调用gst_element_set_state(pipeline, GST_STATE_PAUSED)后没有等待状态切换完成，就直接执行元素添加、链路连接操作。pipeline的状态切换是异步过程，未等待完成就修改拓扑结构极易引发流不同步。

正确的动态分支接入流程 #

1. 待现有运行正常的第一路录制分支稳定后，再触发第二路分支添加逻辑。
2. 调用gst_element_set_state(pipeline, GST_STATE_PAUSED)后，用gst_element_get_state()阻塞等待，确认整个pipeline完成PAUSED状态切换。
3. 直接将queue2、h264parse2、splitmux2通过gst_bin_add_many加入pipeline，pipeline会自动将新加入的元素同步到当前的PAUSED状态，不需要手动给新元素设置状态。
4. 完成录制分支内部的链路连接：通过gst_element_link_many(queue2, h264parse2, splitmux2, NULL)把分支内部的元素串接好。
5. 获取tee的新request pad，在该pad上添加数据探针：探针逻辑为只有收到带SYNC标记的关键帧时，才正式连通tee的src pad和queue2的sink pad，所有非关键帧在探针阶段直接丢弃，等对齐到关键帧完成连通后再移除探针。
6. 最后调用gst_element_set_state(pipeline, GST_STATE_PLAYING)，等新分支完成preroll拿到关键帧后，就会开始正常写入MP4文件。

实用技巧：如果摄像头输出的H.264流间隔较长才出现一个IDR帧，可以在编码端强制设置GOP大小，让摄像头每1秒生成一个关键帧，大幅缩短动态分支接入的等待时间。

内容的提问来源于stack exchange，提问作者user1040087