如何在运行中的GStreamer Pipeline中间元素获取GstBuffer/GstMemory/GstSample以随机访问图像数据？

你遇到的这个需求，用**GstPad探针（Probe）**就能完美解决——完全不需要加Tee（避免拷贝开销），也不用依赖Sink元素的gst_base_sink_get_last_sample()，直接在中间元素的Pad上“搭个观察点”就能拿到流过的数据。

核心思路：用Pad探针拦截并访问数据 #

GStreamer的Pad探针允许你在任意元素的输入/输出Pad上注册回调函数，当数据（Buffer/BufferList）流过Pad时，回调会被触发。这个过程不会额外复制数据（除非你自己在回调里显式拷贝），完全符合你不想增加开销的要求，而且不需要修改原有管道结构。

具体实现步骤 #

1. 获取目标元素的Pad：比如你要监控glupload的输入，就获取它的sink Pad（用gst_element_get_static_pad()）。
2. 注册探针回调：调用gst_pad_add_probe()，指定要监听的事件类型（比如GST_PAD_PROBE_TYPE_BUFFER表示监听单个Buffer），并传入你的处理函数。
3. 在回调中处理数据：回调里可以直接拿到GstBuffer，如果需要GstSample，可以结合Pad的Caps自行创建；访问内存数据时用gst_memory_map()即可。
4. 让数据继续流动：回调返回GST_PAD_PROBE_OK，确保管道正常运行。

代码示例（C语言） #

// 假设你已经获取到glupload元素的指针GstElement *glupload;
GstPad *sink_pad = gst_element_get_static_pad(glupload, "sink");
if (sink_pad) {
    // 注册Buffer类型的探针，回调函数为probe_handler
    gulong probe_id = gst_pad_add_probe(sink_pad, GST_PAD_PROBE_TYPE_BUFFER, probe_handler, NULL, NULL);
    // 保存probe_id，后续可以用gst_pad_remove_probe()移除探针
    gst_object_unref(sink_pad);
}

// 探针回调函数
static GstPadProbeReturn probe_handler(GstPad *pad, GstPadProbeInfo *info, gpointer user_data) {
    // 从探针信息中取出当前Buffer
    GstBuffer *buffer = GST_PAD_PROBE_INFO_BUFFER(info);
    if (!buffer) return GST_PAD_PROBE_OK;

    // 1. 访问GstMemory（图像数据）
    GstMemory *mem = gst_buffer_get_memory(buffer, 0);
    if (mem) {
        GstMapInfo map;
        // 以只读方式映射内存
        if (gst_memory_map(mem, &map, GST_MAP_READ)) {
            // map.data就是图像数据的指针，map.size为数据大小
            // 这里做你的随机访问/检查操作，注意尽量快速，别阻塞管道
            gst_memory_unmap(mem, &map);
        }
        gst_memory_unref(mem);
    }

    // 2. 如果需要GstSample（包含Buffer和Caps）
    GstCaps *caps = gst_pad_get_current_caps(pad);
    if (caps) {
        GstSample *sample = gst_sample_new(buffer, caps, NULL, NULL);
        // 处理sample，比如提取图像格式、数据等
        gst_sample_unref(sample);
        gst_caps_unref(caps);
    }

    // 让数据继续流向管道下游
    return GST_PAD_PROBE_OK;
}

关键注意事项 #

• 避免阻塞管道：回调函数里的操作要尽量轻量化，如果需要耗时处理（比如图像分析），可以先调用gst_buffer_ref(buffer)增加引用，然后把Buffer放到单独的线程处理，处理完再gst_buffer_unref()释放。
• GL内存的特殊处理：如果是glupload这类GL元素，Buffer可能是GL纹理内存，这时候要使用GL相关的API访问，或者确保gst_memory_map()的标志正确，避免内存访问错误。
• 实现随机触发：如果不是要每帧都处理，而是需要“随机访问”（比如用户手动触发），可以在回调里加一个全局标志位，只有当标志为真时才处理当前Buffer，触发后重置标志即可。

这个方案完全满足你的需求：不需要修改管道结构、无额外拷贝开销、能在运行中的管道中间元素获取数据。

备注：内容来源于stack exchange，提问作者Anastasia V.