GStreamer中appsink帧缓冲内存与OpenCV Mat的生命周期疑问

你通过Appsink读取视频帧到OpenCV Mat的代码如下：

GstFlowReturn GStreamPipeline::new_sample(GstElement* sink, GStreamPipeline* gsp) {
    GstSample* sample;

    /* Retrieve the buffer */
    g_signal_emit_by_name(sink, "pull-sample", &sample);
    if (sample) 
    {

        GstBuffer* buffer = gst_sample_get_buffer(sample);
        GstSegment* segment = gst_sample_get_segment(sample);
        GstCaps* current_caps = gst_pad_get_current_caps(gst_element_get_static_pad(gsp->app_sink, "sink"));
        GstStructure* new_pad_struct = gst_caps_get_structure(current_caps, 0);
        gint width = 0, height = 0;
        if (!gst_structure_get_int(new_pad_struct, "width", &width) ||
            !gst_structure_get_int(new_pad_struct, "height", &height)) {
            g_print("No width/height available\n");
        }

        GstMapInfo map;
        gst_buffer_map(buffer, &map, GST_MAP_READ);

        cv::Mat frame(cv::Size(width, height), CV_8UC3, (char*)map.data);
        gst_buffer_unmap(buffer, &map);
        if (!current_caps) gst_caps_unref(current_caps);
        gst_sample_unref(sample);
        return GST_FLOW_OK;
    }

    return GST_FLOW_ERROR;
}

针对你的问题，逐一解答：

1. 离开函数作用域后，frame.data指向的内存会发生什么？ #

frame是函数内的局部变量，离开作用域时会被销毁，但它只是对map.data的浅引用——OpenCV并没有接管这块内存的所有权。而你在创建frame后立即调用了gst_sample_unref(sample)：

• 当gst_sample_unref执行时，GstSample的引用计数会减1；如果这是最后一个引用，GstSample内部的GstBuffer会被销毁，对应的内存要么被GStreamer内存池回收复用，要么直接释放。
• 此时frame.data指向的内存已经不属于你的程序可控范围，后续访问会触发未定义行为（比如程序崩溃、数据乱码）。

2. 该缓冲区的存活时长是多久？ #

缓冲区的存活时长完全由GstSample的引用计数决定：

• 从调用pull-sample获取sample开始，缓冲区的引用计数至少为1；
• 每调用一次gst_sample_ref，引用计数加1；每调用一次gst_sample_unref，引用计数减1；
• 当引用计数降到0时，GstSample和关联的GstBuffer会被销毁，缓冲区内存随之被回收。
• 在你的代码中，gst_sample_unref在函数末尾执行，所以函数返回时，缓冲区内存已经不再安全。

3. 是否需要复制内存以确保安全？ #

如果要在函数外部使用帧数据，必须复制内存。原因如下：

• 当前代码中cv::Mat只是浅拷贝，没有内存所有权，一旦GstSample被释放，内存就失效了；
• 可以通过cv::Mat::clone()或者cv::cvtColor（如果需要格式转换）来创建深拷贝，确保数据独立于GStreamer的缓冲区生命周期。

如果想避免不必要的内存复制，可以通过延长GstSample的生命周期实现：

• 不要在函数内调用gst_sample_unref，而是将sample的引用传递到外部；
• 在外部使用完帧数据后，再调用gst_sample_unref释放资源；
• 这种方式需要严格管理引用计数，避免内存泄漏。

内容的提问来源于stack exchange，提问作者Il'ya Zhenin