使用GStreamer生成多流MP4文件的兼容性问题求助

使用GStreamer 1.20开发的应用程序，向MP4文件写入两路H.264视频流和一路Opus音频流，原始管线配置如下：

原始视频编码器（两路） #

queue max-size-time=100000000 leaky=downstream ! x264enc bitrate=1500 speed-preset=ultrafast tune=zerolatency key-int-max=15 ! video/x-h264,profile=constrained-baseline,stream-format=avc ! queue ! mux.

原始音频编码器 #

queue max-size-time=100000000 leaky=downstream ! opusenc bitrate-type=vbr inband-fec=true ! queue ! opusparse ! mux.

原始复用器与输出 #

mp4mux name=mux fragment-duration=1000 latency=100000000 ! filesink sync=true location=out.mp4

生成的MP4文件仅能在Ubuntu Totem中基本播放，但存在以下问题：

• VLC播放数秒后冻结
• FFmpeg处理（如拆分流）输出无效内容
• 无法进行seek操作（包括Totem）
• 出现Invalid NAL unit size和non-monotonous DTS报错

针对报错原因，对管线做如下关键调整：

1. 视频编码器调整（两路均修改） #

queue max-size-time=100000000 leaky=downstream ! x264enc bitrate=1500 speed-preset=ultrafast tune=zerolatency key-int-max=15 config-interval=1 ! video/x-h264,profile=constrained-baseline,stream-format=avc ! h264parse ! queue ! mux.

• 添加config-interval=1：强制编码器每隔1个GOP（对应key-int-max=15）插入一次SPS/PPS，确保mp4mux能正确识别NAL单元结构。
• 添加h264parse：对H.264流进行标准化解析，将原始annexb格式转换为MP4要求的avcC封装，从根源解决Invalid NAL unit size问题。

2. 复用器与输出调整 #

mp4mux name=mux fragment-duration=1000 latency=0 faststart=true ! filesink sync=false location=out.mp4

• 设置latency=0：移除过大的缓存延迟（原100秒），避免帧缓存累积导致的时间戳非单调递增（non-monotonous DTS）。
• 设置sync=false：关闭filesink的同步机制，防止其干扰流的时间戳顺序。
• 添加faststart=true：将MP4的moov原子（包含索引信息）移至文件开头，解决无法seek的问题，同时提升播放器加载速度。

3. 音频编码器（可选调整） #

若音频流仍出现时间戳问题，可移除leaky=downstream（仅在低延迟场景必需时保留），确保音频帧完整传递：

queue max-size-time=100000000 ! opusenc bitrate-type=vbr inband-fec=true ! queue ! opusparse ! mux.

内容的提问来源于stack exchange，提问作者Florian Echtler