GStreamer UDP流转JPEG出现像素散点及模糊问题求助

我使用C++结合GStreamer编写代码，将UDP流转换为JPEG图片存储。输入UDP流源自清晰的1fps H264（baseline）视频，但部分输出JPEG图片存在像素散点及模糊问题。运行环境为Virtual Box中的Ubuntu 20.04。

服务端代码（生成UDP流） #

int main(int argc, char *argv[]) {
    gst_init(&argc, &argv);

    // path to your video file
    const char *video_path = "./data/test_video.mp4";
    // the host address
    const char *host_address = "224.1.1.1";
    //the port
    int port = 5000;

    GstElement *pipeline = gst_parse_launch(
        g_strdup_printf("filesrc location=%s ! qtdemux ! rtph264pay config-interval=1 ! udpsink host=%s port=%d auto-multicast=true", video_path, host_address, port), NULL);
    
}

客户端代码（接收UDP流并写入JPEG） #

static GstFlowReturn new_sample(GstElement *sink, gpointer user_data) {
    static int frame_count = 1;
    GstSample *sample;
    GstBuffer *buffer;
    GstMapInfo map;

    g_signal_emit_by_name(sink, "pull-sample", &sample);
    if (sample) {
        buffer = gst_sample_get_buffer(sample);
        gst_buffer_map(buffer, &map, GST_MAP_READ);

        std::string directory = "output/";
        std::string filename = directory + "frame_" + std::to_string(frame_count) + ".jpg";
        std::ofstream file(filename, std::ios::binary);
        file.write(reinterpret_cast<const char *>(map.data), map.size);
        file.close();
        frame_count++;
    }
}

int main(int argc, char *argv[]) {
    gst_init(&argc, &argv);

    const gchar *pipeline_str =
        "udpsrc multicast-group=224.1.1.1 auto-multicast=true port=5000 "
        "caps=\"application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264\" "
        "! rtph264depay ! h264parse ! avdec_h264 ! videoconvert ! videorate ! video/x-raw, framerate=1/1 ! jpegenc ! appsink name=sink sync=false";

}

代码可正常将帧写入指定路径，但部分输出JPEG存在像素散点及瑕疵（实际输出有标记的散点区域，预期为清晰无瑕疵的帧）。

• UDP丢包与虚拟机网络缺陷：UDP无丢包重传机制，VirtualBox的NAT网络模式易出现延迟或丢包，H264依赖帧间预测，丢包会导致解码帧出现像素错误。
• 关键帧间隔不合理：服务端未强制关键帧生成，若原视频关键帧间隔过大，客户端丢失关键帧后，后续依赖帧无法正确解码，产生模糊或散点。
• 解码与处理未做错误恢复：客户端rtph264depay和解码器未配置错误容忍参数，遇到损坏的RTP包时无法自动恢复，直接输出损坏帧。
• 资源未正确释放：客户端回调中未释放GstSample和GstBuffer的引用，可能导致资源泄漏，间接引发帧处理错误。
• 虚拟机性能瓶颈：VirtualBox分配的CPU/内存不足，导致GStreamer元素处理帧不及时，出现帧截断或数据错误。

服务端优化 #

1. 强制每帧为关键帧：添加h264parse并设置keyframe-interval=1，确保每个RTP包都包含完整可独立解码的帧：

   GstElement *pipeline = gst_parse_launch(
       g_strdup_printf("filesrc location=%s ! qtdemux ! h264parse ! video/x-h264, keyframe-interval=1 ! rtph264pay config-interval=1 ! udpsink host=%s port=%d auto-multicast=true buffer-size=65535", video_path, host_address, port), NULL);
   

2. 增大UDP缓冲区：给udpsink添加buffer-size=65535，减少因缓冲区不足导致的丢包。

客户端优化 #

1. 配置错误容忍参数：修改管道字符串，启用rtph264depay的不连续包忽略，以及解码器的损坏帧跳过：

   const gchar *pipeline_str =
       "udpsrc multicast-group=224.1.1.1 auto-multicast=true port=5000 timeout=1000000 "
       "caps=\"application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264\" "
       "! rtph264depay ignore-discont=true ! h264parse config-interval=1 ! avdec_h264 skip-frame=1 ! videoconvert ! videorate ! video/x-raw, framerate=1/1 ! jpegenc ! appsink name=sink sync=false";
   

   • ignore-discont=true：忽略不连续的RTP包，避免解码器进入错误状态
   • skip-frame=1：让解码器跳过无法正确解码的损坏帧
   • timeout=1000000：设置UDP源超时时间，避免卡住
2. 正确释放资源：在回调中添加引用计数释放逻辑，避免资源泄漏：

   static GstFlowReturn new_sample(GstElement *sink, gpointer user_data) {
       static int frame_count = 1;
       GstSample *sample;
       GstBuffer *buffer;
       GstMapInfo map;
   
       g_signal_emit_by_name(sink, "pull-sample", &sample);
       if (sample) {
           buffer = gst_sample_get_buffer(sample);
           if (gst_buffer_map(buffer, &map, GST_MAP_READ)) {
               std::string directory = "output/";
               std::string filename = directory + "frame_" + std::to_string(frame_count) + ".jpg";
               std::ofstream file(filename, std::ios::binary);
               file.write(reinterpret_cast<const char *>(map.data), map.size);
               file.close();
               gst_buffer_unmap(buffer, &map);
               frame_count++;
           }
           gst_sample_unref(sample); // 释放sample资源
       }
       return GST_FLOW_OK;
   }
   

环境优化 #

• 将VirtualBox网络模式改为桥接模式，减少NAT带来的网络延迟和丢包。
• 给虚拟机分配更多CPU核心（至少2核）和内存（至少2GB），提升GStreamer处理性能。

内容的提问来源于stack exchange，提问作者sonusi