基于Wayland的GStreamer与GTK4窗口整合问题求助

你遇到的问题是因为默认gtksink会自动创建独立的顶层窗口用于视频显示，导致控制按钮窗口和视频窗口分离。下面提供两种可行的解决思路及代码实现：

方案一：手动绑定GtkSink到自定义GTK部件 #

核心思路是不让gtksink自动创建窗口，而是将它的视频渲染部件绑定到你自己创建的GTK容器中，实现同窗口整合。

完整代码示例 #

#include <gtk/gtk.h>
#include <gst/gst.h>
#include <gst/video/video.h>
#include <gst/gtk/gtk.h>

static GstElement *pipeline;

static void on_play_clicked(GtkButton *btn, gpointer data) {
  gst_element_set_state(pipeline, GST_STATE_PLAYING);
}

static void on_pause_clicked(GtkButton *btn, gpointer data) {
  gst_element_set_state(pipeline, GST_STATE_PAUSED);
}

static void on_video_widget_realize(GtkWidget *widget, gpointer data) {
  // 获取管道中的gtksink元素
  GstElement *sink = gst_bin_get_by_name(GST_BIN(pipeline), "gtksink");
  // 将自定义GTK部件绑定给gtksink，替代它默认创建的窗口
  g_object_set(sink, "widget", widget, NULL);
  g_object_unref(sink);
}

static void app_activate(GtkApplication *app, gpointer user_data) {
  // 创建主窗口
  GtkWidget *window = gtk_application_window_new(app);
  gtk_window_set_title(GTK_WINDOW(window), "GStreamer GTK4 Player");
  gtk_window_set_default_size(GTK_WINDOW(window), 800, 600);

  // 创建垂直布局容器：上方放视频，下方放控制按钮
  GtkWidget *vbox = gtk_box_new(GTK_ORIENTATION_VERTICAL, 5);
  gtk_window_set_child(GTK_WINDOW(window), vbox);

  // 创建视频渲染部件（推荐用GtkGLArea支持硬件加速）
  GtkWidget *video_area = gtk_gl_area_new();
  gtk_widget_set_hexpand(video_area, TRUE);
  gtk_widget_set_vexpand(video_area, TRUE);
  // 部件实例化后再绑定给gtksink
  g_signal_connect(video_area, "realize", G_CALLBACK(on_video_widget_realize), NULL);
  gtk_box_append(GTK_BOX(vbox), video_area);

  // 创建控制按钮容器
  GtkWidget *btn_box = gtk_box_new(GTK_ORIENTATION_HORIZONTAL, 5);
  gtk_widget_set_halign(btn_box, GTK_ALIGN_CENTER);
  gtk_box_append(GTK_BOX(vbox), btn_box);

  GtkWidget *play_btn = gtk_button_new_with_label("播放");
  g_signal_connect(play_btn, "clicked", G_CALLBACK(on_play_clicked), NULL);
  gtk_box_append(GTK_BOX(btn_box), play_btn);

  GtkWidget *pause_btn = gtk_button_new_with_label("暂停");
  g_signal_connect(pause_btn, "clicked", G_CALLBACK(on_pause_clicked), NULL);
  gtk_box_append(GTK_BOX(btn_box), pause_btn);

  // 构建GStreamer管道，指定gtksink的名称以便后续获取
  pipeline = gst_parse_launch(
    "filesrc location=your_video.mp4 ! decodebin ! videoconvert ! gtksink name=gtksink "
    "audioconvert ! autoaudiosink", 
    NULL
  );

  gtk_widget_show(window);
}

int main(int argc, char *argv[]) {
  // 初始化GStreamer与GTK
  gst_init(&argc, &argv);
  GtkApplication *app = gtk_application_new("com.example.GstGtkPlayer", G_APPLICATION_DEFAULT_FLAGS);
  g_signal_connect(app, "activate", G_CALLBACK(app_activate), NULL);
  
  int status = g_application_run(G_APPLICATION(app), argc, argv);
  
  // 清理资源
  g_object_unref(app);
  gst_element_set_state(pipeline, GST_STATE_NULL);
  gst_object_unref(pipeline);
  
  return status;
}

关键说明 #

• 绑定时机：必须在video_area触发realize信号后再绑定给gtksink，此时部件已完成底层窗口实例化，绑定才会生效。
• 管道配置：通过name=gtksink给sink元素命名，方便后续从管道中获取并配置。
• 音频处理：确保管道中包含音频分流逻辑，避免视频有画面无声音。

编译命令 #

gcc -o gst_gtk_player gst_gtk_player.c `pkg-config --cflags --libs gtk4 gstreamer-1.0 gstreamer-video-1.0 gstreamer-gtk-1.0`

方案二：使用GTK4原生GtkMediaFile（简化版） #

如果不需要复杂的GStreamer自定义管道，GTK4自带的GtkMediaFile可以更简单地实现视频播放，自动将视频渲染整合到GTK窗口中，无需手动处理GStreamer细节。

代码示例 #

#include <gtk/gtk.h>

static void app_activate(GtkApplication *app, gpointer user_data) {
  GtkWidget *window = gtk_application_window_new(app);
  gtk_window_set_title(GTK_WINDOW(window), "GTK4 Media Player");
  gtk_window_set_default_size(GTK_WINDOW(window), 800, 600);

  GtkWidget *vbox = gtk_box_new(GTK_ORIENTATION_VERTICAL, 5);
  gtk_window_set_child(GTK_WINDOW(window), vbox);

  // 创建媒体视图部件
  GtkWidget *media_view = gtk_media_view_new();
  GtkMediaFile *media_file = gtk_media_file_new_for_filename("your_video.mp4");
  gtk_media_view_set_media(GTK_MEDIA_VIEW(media_view), GTK_MEDIA_STREAM(media_file));
  gtk_widget_set_hexpand(media_view, TRUE);
  gtk_widget_set_vexpand(media_view, TRUE);
  gtk_box_append(GTK_BOX(vbox), media_view);

  // 控制按钮
  GtkWidget *btn_box = gtk_box_new(GTK_ORIENTATION_HORIZONTAL, 5);
  gtk_widget_set_halign(btn_box, GTK_ALIGN_CENTER);
  gtk_box_append(GTK_BOX(vbox), btn_box);

  GtkWidget *play_btn = gtk_button_new_from_icon_name("media-playback-start");
  g_signal_connect_swapped(play_btn, "clicked", G_CALLBACK(gtk_media_stream_play), media_file);
  gtk_box_append(GTK_BOX(btn_box), play_btn);

  GtkWidget *pause_btn = gtk_button_new_from_icon_name("media-playback-pause");
  g_signal_connect_swapped(pause_btn, "clicked", G_CALLBACK(gtk_media_stream_pause), media_file);
  gtk_box_append(GTK_BOX(btn_box), pause_btn);

  gtk_widget_show(window);
}

int main(int argc, char *argv[]) {
  GtkApplication *app = gtk_application_new("com.example.GtkMediaPlayer", G_APPLICATION_DEFAULT_FLAGS);
  g_signal_connect(app, "activate", G_CALLBACK(app_activate), NULL);
  int status = g_application_run(G_APPLICATION(app), argc, argv);
  g_object_unref(app);
  return status;
}

这个方案适合简单的视频播放场景，无需关心GStreamer管道的细节，GTK会自动处理视频渲染和音频输出。

内容的提问来源于stack exchange，提问作者teena meheren