iMX8平台GStreamer Pipeline丢帧求助：自定义infer组件致帧率过低

• 平台：iMX8
• 自定义GStreamer组件infer，单帧处理耗时约100ms，预期帧率10fps
• 实际Pipeline仅能达到1fps，出现丢帧，报错信息：

0:00:47.405558285 4623 0xaaab095005e0 WARN v4l2src gstv4l2src.c:1352:gst_v4l2src_create:<v4l2src0> lost frames detected: count = 21 - ts: 0:00:46.169338790

• 使用的Pipeline命令：

webrtcbin bundle-policy=max-bundle latency=0 name=sendrecv \
v4l2src ! capsfilter caps="video/x-raw, width=1920, height=1080, framerate=25/1" ! videoconvert ! infer use_npu=True type=yolov5 model=yolov5n.tflite labels=yolov5n.txt ! videoconvert ! queue max-size-buffers=1 ! x264enc bitrate=5000 speed-preset=superfast tune=zerolatency ! video/x-h264, stream-format=byte-stream ! rtph264pay config-interval=1 ! application/x-rtp,media=video,encoding-name=H264,payload=127 ! sendrecv.

• 推测原因：帧处理过慢导致积压丢帧，需实现infer忙时丢弃待处理帧，或其他解决方案
• 补充：收到GST_MESSAGE_LATENCY消息时执行gst_bin_recalculate_latency并设置Pipeline延迟为250ms，无效果

1. 在infer前加带丢帧策略的队列 #

在infer组件前插入queue并配置丢帧参数，当队列满时直接丢弃新帧，避免上游积压。修改后的Pipeline片段：

v4l2src ! capsfilter caps="video/x-raw, width=1920, height=1080, framerate=25/1" ! videoconvert ! queue max-size-buffers=2 max-size-time=0 max-size-bytes=0 leaky=downstream ! infer use_npu=True type=yolov5 model=yolov5n.tflite labels=yolov5n.txt ! ...

• leaky=downstream：队列满时丢弃最新到来的帧，保证infer只处理当前帧，不会被积压帧拖慢
• max-size-buffers=2：设置队列最多存2帧，既给infer留缓冲，又不会积压太多

2. 匹配infer能力，降低上游输入帧率 #

infer只能处理10fps，而v4l2src输出是25fps，上游帧率远高于处理能力，直接限制输入帧率：
修改capsfilter的帧率参数：

capsfilter caps="video/x-raw, width=1920, height=1080, framerate=10/1"

让v4l2src直接输出10fps，从源头减少帧数量，避免不必要的丢帧

3. 优化infer组件处理效率 #

• 确认NPU启用：检查use_npu=True参数是否生效，iMX8的NPU驱动是否正常加载，可通过厂商工具查看NPU占用率
• 模型优化：用NXP的eIQ工具链将yolov5n.tflite转换为iMX8专用量化格式，减少NPU处理耗时
• 组件异步处理：确保infer用GStreamer异步机制处理帧，避免阻塞整个Pipeline数据流

4. 调整Pipeline队列和延迟设置 #

• 移除infer后的queue max-size-buffers=1：这个小队列会限制下游处理，若infer是瓶颈，反而可能导致infer输出帧被阻塞，直接去掉即可
• 调整webrtcbin latency：不要设为0，改成100-200ms，和infer处理耗时匹配，给WebRTC端留缓冲时间，避免网络波动导致帧积压

5. 自定义infer内部丢帧逻辑 #

如果队列方案不够灵活，可在infer组件内部实现丢帧：

• 在组件的chain函数中，检查当前是否正在处理前一帧
• 若忙，直接调用gst_buffer_unref(buffer)丢弃当前帧，返回GST_FLOW_OK
• 用互斥锁保护处理状态变量，保证线程安全

内容的提问来源于stack exchange，提问作者Александр