GStreamer 1.21中qtmux录制分辨率变化的H.264出现无效内容求助

核心问题 #

GStreamer 1.20+版本中，qtmux在处理WebRTC动态分辨率的H.264流时，无法正确将分辨率变化后的SPS/PPS参数写入MKV容器，仅接收浏览器发送的IDR帧，导致分辨率切换后的视频内容无法解码。此外原管道存在容器复用器与输出格式不匹配的问题（qtmux用于QuickTime/MP4容器，而非MKV）。

解决方案 #

1. 替换容器复用器并配置H.264解析器

将qtmux替换为适配MKV格式的matroskamux，并给h264parse添加强制输出SPS/PPS的参数，确保分辨率变化时新的编码参数能及时传递到容器中。

修改后的完整管道：

webrtcbin name=webrtcbin bundle-policy=max-bundle ! rtph264depay ! h264parse config-interval=1 ! matroskamux ! filesink location=/home/ubuntu/recordings/abcde/test.mkv

参数说明：

• matroskamux：MKV原生容器复用器，对动态视频参数（分辨率、码率）的支持远优于qtmux，无需提前固定编码参数即可适配流的动态变化。
• h264parse config-interval=1：强制每1秒输出一次SPS/PPS参数，确保分辨率更新后，新的编码配置能被复用器捕获并写入容器，避免仅依赖浏览器主动发送的IDR帧。

2. 可选：添加动态分辨率兼容的Caps过滤

如果仍存在参数协商问题，可添加capsfilter明确允许任意范围的分辨率变化，消除下游元素对固定参数的依赖：

webrtcbin name=webrtcbin bundle-policy=max-bundle ! rtph264depay ! h264parse config-interval=1 ! capsfilter caps="video/x-h264, width=(int)[1,2048], height=(int)[1,2048]" ! matroskamux ! filesink location=/home/ubuntu/recordings/abcde/test.mkv

3. 版本验证

确保使用GStreamer 1.20及以上版本，该版本对WebRTC动态流的处理逻辑有优化，配合上述配置可完全解决分辨率切换后的录制问题。

内容的提问来源于stack exchange，提问作者decades