画面复杂度提升时WebRTC视频流冻结问题排查求助

核心问题根因 #

• RTP包分片超限：WebRTC默认基于UDP传输，有效载荷MTU通常为1400字节以内。你当前的ffmpeg命令未配置NALU分片规则，当画面新增线条、文本等高频细节后，单帧编码后体积骤增，超出MTU的RTP包会被IP层拆分，任意分片丢失都会导致整个NALU作废，浏览器因缺少完整帧数据无法解码，进而出现冻结、黑屏。本地文件播放正常是因为不需要走网络传输，所有帧数据完整；降分辨率后单帧体积缩小，不会触发分片问题，所以故障消失。
• 编码参数适配不当：当前你仅配置了基础的编码参数，未做实时流场景优化：默认x264编码在画面复杂度提升时可能出现码率突增、帧间隔波动，且未固定关键帧间隔，浏览器丢帧后需要等待很久才能拿到下一个关键帧刷新画面，加剧冻结现象。
• WebRTC QoS机制未生效：如果Janus服务器未开启NACK丢包重传、PLI关键帧请求转发能力，浏览器丢失帧数据后无法主动请求重传或刷新关键帧，会持续卡在无法解码的状态。

修复方案 #

1. 优化ffmpeg推流命令 #

替换原有命令为以下配置，适配实时WebRTC场景：

ffmpeg -f v4l2 -i /dev/video0 -vf "transpose=1,scale=768:1024" \
-vcodec libx264 -profile:v baseline -level 4.1 -pix_fmt yuv420p \
-tune zerolatency -preset ultrafast \
-b:v 2M -maxrate 2M -bufsize 1M \
-g 60 -keyint_min 60 -sc_threshold 0 \
-rtpflags h264_mode0 \
-f rtp rtp://10.116.80.86:8004?pkt_size=1300

参数说明：

• -tune zerolatency -preset ultrafast：关闭编码延迟优化，适配实时流低延迟要求
• -b:v 2M -maxrate 2M -bufsize 1M：固定码率控制，避免画面复杂度提升时码率突增，可根据实际带宽调整码率数值
• -g 60 -keyint_min 60 -sc_threshold 0：按30fps计算固定2秒关键帧间隔，关闭场景切换自动插关键帧逻辑，稳定帧间隔
• -rtpflags h264_mode0 ?pkt_size=1300：强制RTP包最大1300字节，自动拆分过大的NALU，避免IP层分片
• -level 4.1：适配绝大多数浏览器硬件解码器的兼容性要求

2. 调整Janus服务器配置 #

• 确认对应插件（Streaming/VideoRoom）开启了nack和pli支持，允许Janus转发浏览器的关键帧请求到推流端
• 确认H264的payload type配置与ffmpeg输出的默认值（96）一致，避免编码格式不匹配

3. 兼容性验证 #

如果调整后仍有问题，可临时关闭浏览器硬件解码测试，如果故障消失说明是设备硬件解码兼容性问题，可进一步将x264 profile调整为high，或者关闭浏览器端硬件解码 fallback 逻辑。

内容的提问来源于stack exchange，提问作者engerp7139