NvDecoder单次输出4帧致掉帧的GStreamer RTSP解码问题排查

当前使用如下GStreamer管线拉取解析RTSP视频流：

gst-launch-1.0 rtspsrc port-range=5000-5100 location="rtsp://.." latency=300 is-live=true ! queue ! rtph264depay name=depayer! video/x-h264 , stream-format=byte-stream, alignment=au ! h264parse ! video/x-h264 , stream-format=byte-stream, alignment=au ! appsink name=mysink sync=true

后续采用Nvidia Video Codec SDK提供的NvDecoder对接收的H.264帧做解码。测试阶段共接入4台不同相机，其中2台相机输出视频流畅无异常，剩余2台相机的视频流每间隔25-30帧，就会出现解码器一次性输出4帧的现象，最终引发链路掉帧。
待确认的技术问题：

1. 触发NvDecoder一次性输出4帧的根本原因是什么？
2. 是否存在可行方案规避该单次多帧输出问题？
3. 是否可通过修改上述GStreamer管线实现恒定帧率输出？

1. NvDecoder单次批量输出4帧的根本原因 #

核心原因是出问题相机的H.264码流带B帧，触发了解码器显示重排序缓冲的批量刷出，和观测到的现象完全匹配：

• 正常工作的2台相机，编码默认采用无B帧的IPPP GOP结构，解码顺序和显示顺序完全一致，每向NvDecoder输入1帧即可立刻输出1帧可显示帧，不会产生内部缓存积压。
• 出问题的2台相机GOP结构包含B帧，常见配置为每两个I/P参考帧之间插入3个B帧，结构类似IBBBPBBBP...，且GOP长度通常设为25或30，刚好对应间隔25-30帧触发一次异常的规律。NvDecoder默认逻辑为：在拿到下一个参考帧之前，会将前面依赖后续参考帧才能确定显示顺序的B帧暂存在内部缓冲区，等后续P帧到达、参考关系完整后，会将之前缓存的3个B帧+刚解码完成的当前帧一次性输出，正好凑齐4帧。
• 现有管线未做码流时间戳校准、帧间隔匀化，若相机输出的RTP时间戳存在抖动、或码流VUI中携带的帧率信息不规范，会进一步加重解码器缓冲积压的问题。

2. 单次多帧输出问题的规避方案 #

以下方案按改造成本从低到高排序，均可落地：

• 方案一：调整相机编码参数（成本最低）
  登录出问题相机的配置后台，关闭H.264编码的B帧选项，编码Profile选择无B帧的Baseline档位、或关闭B帧的Main档位，GOP结构改为纯IPPP结构。从源头上消除B帧重排序需求后，NvDecoder会自然逐帧输出，该方案在工业相机场景下验证过多次，改完即可复现。
• 方案二：调整NvDecoder初始化参数
  初始化NvDecoder时，将outputSurfaceAllFrames标志设为1，强制解码器每完成1帧解码就立刻输出，不等待后续参考帧攒齐后做显示重排序。注意开启该配置后，解码器输出的帧顺序为解码顺序、和显示顺序不一致，需要应用层根据每帧携带的picture_order_count字段自行做帧重排，否则会出现画面跳变。
• 方案三：应用侧增加缓冲队列做匀帧
  在NvDecoder输出端增加一个固定深度的缓冲队列，解码器批量输出的帧先入队，由独立的处理/播放线程按照目标帧率的固定时间间隔取帧做后续处理。当前场景下单次最多输出4帧，队列深度设为8即可完全覆盖突发流量，将批量到达的帧平摊到固定时间间隔上，不会触发掉帧。

3. GStreamer管线修改实现恒定帧率输出的方法 #

可以通过修改管线实现帧间隔匀化，给后端NvDecoder提供间隔稳定的H.264帧输入，调通后的参考管线如下（将framerate参数替换为相机实际输出帧率即可，如25fps填25/1、30fps填30/1）：

gst-launch-1.0 rtspsrc port-range=5000-5100 location="rtsp://.." latency=300 is-live=true ! \
queue max-size-buffers=0 max-size-bytes=0 max-size-time=100000000 ! \
rtph264depay name=depayer ! \
video/x-h264, stream-format=byte-stream, alignment=au ! \
h264parse config-interval=1 disable-passthrough=true ! \
videorate drop-only=true ! video/x-h264, stream-format=byte-stream, alignment=au, framerate=25/1 ! \
appsink name=mysink sync=true max-buffers=8 drop=false

关键修改点说明：

• 新增videorate元件做帧率校准：开启drop-only=true后不会凭空生成补帧，仅将突发到达的帧暂存在内部缓冲，按照设定的固定帧率间隔向下游输出帧，从输入侧保证帧间隔稳定。
• 调整queue元件缓冲规则：改为按时间长度预留100ms缓冲应对网络抖动，关闭按buffer数量、字节数的硬限制，避免网络瞬时抖动时队列满导致丢包。
• 调整h264parse配置：设置disable-passthrough=true强制元件校正码流内的时间戳、SPS/PPS信息，避免相机输出的不规范时间戳导致下游元件帧率计算错误；设置config-interval=1定期插入SPS/PPS，避免解码端丢关键配置信息花屏。
• 调整appsink配置：设置8帧缓冲深度，关闭自动丢帧逻辑，避免帧还未被NvDecoder读取就被appsink丢弃。

内容的提问来源于stack exchange，提问作者CselecT