Android平台GStreamer udpsrc加载H.264 RTP流崩溃求助

问题根源 #

你遇到的崩溃源于两个核心问题：

1. 类型转换错误：原tutorial-5中使用的playbin是实现了GstVideoOverlay接口的bin，因此可直接转换为该类型设置窗口句柄；而你手动创建的是普通GstPipeline，它并未实现GstVideoOverlay接口，直接转换必然触发断言失败。
2. 视频sink适配问题：autovideosink在Android环境下可能不会默认选择支持窗口绑定的sink，导致无法正确关联Android的Surface窗口。

修复方案 #

1. 修改GStreamer管道，使用Android专用视频sink #

将原管道替换为明确指定androidvideosink并命名的版本，确保sink原生支持GstVideoOverlay接口：

data->pipeline = gst_parse_launch(
    "udpsrc port=4711 ! application/x-rtp,media=video,encoding-name=H264,payload=96 ! rtph264depay ! decodebin ! videoconvert ! androidvideosink name=videosink",
    &error);

• androidvideosink是GStreamer为Android定制的视频输出组件，原生支持窗口句柄绑定。
• 添加name=videosink方便后续定位该元素。

2. 修改窗口句柄绑定逻辑 #

原代码中直接对pipeline调用gst_video_overlay_set_window_handle，现在需要改为定位到videosink元素后再执行绑定。找到tutorial-5中处理Surface窗口的代码（通常在on_surface_ready回调附近），替换如下：

// 替换原有的gst_video_overlay_set_window_handle调用
GstElement *videosink = gst_bin_get_by_name(GST_BIN(data->pipeline), "videosink");
if (videosink != NULL) {
    // 安全转换类型并设置窗口句柄
    if (GST_IS_VIDEO_OVERLAY(videosink)) {
        gst_video_overlay_set_window_handle(GST_VIDEO_OVERLAY(videosink), window);
    }
    gst_object_unref(videosink);
} else {
    g_printerr("Failed to find videosink element in pipeline\n");
}

• 使用gst_bin_get_by_name从pipeline中获取命名的sink元素。
• 添加GST_IS_VIDEO_OVERLAY类型检查，避免非法转换。

3. 额外优化建议 #

• 若仍存在线程阻塞问题，可在rtph264depay后添加queue元素，例如：rtph264depay ! queue ! decodebin。
• 确保GStreamer Android构建包包含androidvideosink组件（完整构建包默认包含）。

内容的提问来源于stack exchange，提问作者reed