Windows10下C++实现GStreamer在OpenGL窗口指定区域渲染视频问题

问题背景 #

在Windows 10平台使用C++开发时，需要将GStreamer视频渲染到OpenGL窗口的指定区域，但当前视频铺满整个窗口，尝试两种方案均未达到预期效果：

方案1：设置glimagesink的render-rectangle属性崩溃问题分析 #

核心错误点 #

1. 元素类型混淆：代码中操作的是appsink，但render-rectangle是glimagesink的专属属性，appsink并不具备该属性，直接操作会触发非法内存访问导致崩溃。
2. 数组元素顺序错误：render-rectangle要求的数组顺序为[x, y, width, height]，但你代码中添加的顺序是width → height → xpos → ypos，顺序完全颠倒，即使元素类型正确也会导致渲染逻辑异常。
3. GValue传递方式错误：g_object_set中传递GValue指针的方式不符合规范，需构造正确的GstValueArray后再传递。

修正后的示例代码 #

// 确保操作的是glimagesink元素，而非appsink
GstElement *gl_sink = gst_element_factory_make("glimagesink", "gl-sink");

// 构造正确顺序的render-rectangle数组：x, y, width, height
GValue rect = G_VALUE_INIT;
g_value_init(&rect, GST_TYPE_ARRAY);

GValue val;
g_value_init(&val, G_TYPE_INT);

// 添加x坐标
g_value_set_int(&val, 30);
gst_value_array_append_value(&rect, &val);
// 添加y坐标
g_value_set_int(&val, 30);
gst_value_array_append_value(&rect, &val);
// 添加宽度
g_value_set_int(&val, 30);
gst_value_array_append_value(&rect, &val);
// 添加高度
g_value_set_int(&val, 30);
gst_value_array_append_value(&rect, &val);

g_value_unset(&val);

// 设置属性
g_object_set(gl_sink, "render-rectangle", &rect, NULL);
g_value_unset(&rect);

方案2：gst_video_overlay_set_render_rectangle无效问题分析 #

核心错误点 #

1. 接口不兼容：glimagesink并未实现GstVideoOverlay接口，该接口主要针对依赖系统窗口管理器的sink（如d3dsink、ximagesink），因此调用该函数不会产生任何效果。
2. 元素类型错误：如果overlay_element是appsink，appsink同样不支持GstVideoOverlay接口，函数调用属于无效操作。

其他可行实现方法 #

方法1：正确使用glimagesink的render-rectangle属性 #

按照上述修正后的代码，确保操作glimagesink元素并传递正确顺序的渲染矩形数组，即可实现指定区域渲染。

方法2：自定义OpenGL渲染（推荐） #

使用appsink获取视频帧，在自定义OpenGL渲染循环中手动将帧绘制到指定区域：

1. 配置appsink的caps为OpenGL兼容格式（如video/x-raw, format=RGBA）。
2. 通过appsink的new-sample信号回调获取视频帧数据。
3. 将帧数据上传到OpenGL纹理，在窗口的指定区域绘制该纹理。

示例伪代码：

// 配置appsink
GstElement *appsink = gst_element_factory_make("appsink", "app-sink");
GstCaps *caps = gst_caps_new_simple("video/x-raw",
    "format", G_TYPE_STRING, "RGBA",
    "width", G_TYPE_INT, 640,
    "height", G_TYPE_INT, 480,
    NULL);
g_object_set(appsink, "caps", caps, "emit-signals", TRUE, NULL);
gst_caps_unref(caps);

// 注册new-sample信号回调
g_signal_connect(appsink, "new-sample", G_CALLBACK(on_new_sample), NULL);

// 回调函数中处理帧
static GstFlowReturn on_new_sample(GstElement *sink, gpointer data) {
    GstSample *sample = gst_app_sink_pull_sample(GST_APP_SINK(sink));
    GstBuffer *buffer = gst_sample_get_buffer(sample);
    GstMapInfo map;
    gst_buffer_map(buffer, &map, GST_MAP_READ);

    // 将map.data上传到OpenGL纹理
    update_gl_texture(map.data, gst_buffer_get_width(buffer), gst_buffer_get_height(buffer));

    gst_buffer_unmap(buffer, &map);
    gst_sample_unref(sample);
    return GST_FLOW_OK;
}

// 在OpenGL渲染循环中绘制纹理到指定区域
void render() {
    glViewport(30, 30, 30, 30); // 指定渲染区域
    draw_texture();
    // 恢复视口以绘制其他内容
    glViewport(0, 0, window_width, window_height);
}

方法3：使用GStreamer GL滤镜调整渲染区域 #

通过glfilterbin或自定义GL滤镜，在渲染前对视频帧进行裁剪或缩放，输出指定区域大小的帧后再由glimagesink渲染。

内容的提问来源于stack exchange，提问作者RKS