将GStreamer的ximagesrc从C转Rust后PushSrc子类行为异常求助

问题描述 #

基于官方C版ximagesrc代码，将其转换为Rust实现的PushSrc子类XImageRedux时，出现协商行为差异：原C代码会触发set_caps和fixate回调函数，但Rust代码仅触发negotiate函数。

运行命令：

GST_DEBUG=4 RUST_BACKTRACE=1 GST_PLUGIN_PATH=`pwd`/target/debug/ gst-launch-1.0 --verbose ximageredux xid=44040202 ! queue ! ximagesink

调试输出关键信息：仅能看到negotiate相关日志，无set_caps、fixate_caps的调用记录，协商流程未完整触发。

问题分析与解决方案 #

这种行为不属于正常情况，GStreamer的Caps协商流程中，set_caps和fixate_caps是确定最终媒体格式的核心环节，PushSrc子类需完整触发这些回调以匹配C版行为。以下是具体原因及修复步骤：

1. 显式实现Caps相关虚函数 #

Rust绑定中，若未显式覆盖set_caps和fixate_caps，会使用父类（PushSrc）的默认逻辑，可能跳过回调触发。需在imp::XImageRedux中移植C版对应逻辑：

#[gst::implements(subclass::Element)]
impl XImageRedux {
    // 实现set_caps回调
    fn set_caps(&self, caps: &gst::Caps) -> Result<(), gst::LoggableError> {
        // 移植C版ximagesrc_set_caps的逻辑：验证格式合法性、更新内部状态等
        let video_info = gst_video::VideoInfo::from_caps(caps)?;
        self.video_info.set(Some(video_info));
        Ok(())
    }

    // 实现fixate_caps回调
    fn fixate_caps(&self, caps: &gst::Caps) -> gst::Caps {
        // 移植C版ximagesrc_fixate_caps的逻辑：固定分辨率为窗口尺寸、锁定格式等
        let mut fixated = caps.fixate();
        if let Some(xid) = self.xid.get() {
            // 获取窗口宽高并设置到caps
            let (width, height) = self.get_window_size(xid);
            fixated.set_simple("width", &width);
            fixated.set_simple("height", &height);
        }
        fixated
    }
}

2. 同步Caps模板配置 #

确保class_init中src pad的caps模板与C版ximagesrc完全一致，避免因模板过于宽松导致协商流程简化：

fn class_init(klass: &mut gst::ElementClass) {
    klass.set_metadata(
        "XImage Redux Source",
        "Source/Video",
        "Rust implementation of X11 screen capture source",
        "Your Name",
    );

    // 复制C版ximagesrc的caps模板定义
    let src_caps = gst::Caps::new_simple(
        "video/x-raw",
        &[
            ("format", &gst::List::new(&["RGBx", "BGRx", "xRGB", "xBGR", "RGB", "BGR"])),
            ("width", &gst::IntRange::new(1, 4096)),
            ("height", &gst::IntRange::new(1, 4096)),
            ("framerate", &gst::FractionRange::new(gst::Fraction::new(0, 1), gst::Fraction::new(60, 1))),
        ],
    );
    let src_pad_template = gst::PadTemplate::new(
        "src",
        gst::PadDirection::Src,
        gst::PadPresence::Always,
        &src_caps,
    ).unwrap();
    klass.add_pad_template(src_pad_template);
}

3. 主动触发Caps协商 #

原C版ximagesrc会在属性变更（如设置xid）后主动发起Caps协商，Rust代码需同步该逻辑：

fn set_property(&self, id: usize, value: &glib::Value) -> Result<(), glib::BoolError> {
    match id {
        PROP_XID => {
            let xid = value.get().unwrap();
            self.xid.set(xid);
            
            // 获取窗口尺寸生成初始caps，触发协商
            let (width, height) = self.get_window_size(xid);
            let initial_caps = gst::Caps::new_simple(
                "video/x-raw",
                &[
                    ("format", &"RGBx"),
                    ("width", &width),
                    ("height", &height),
                    ("framerate", &gst::Fraction::new(30, 1)),
                ],
            );
            if let Some(src_pad) = self.src_pad() {
                src_pad.push_event(gst::Event::new_caps(initial_caps).build());
            }
        }
        _ => unimplemented!(),
    }
    Ok(())
}

4. 确保完整执行协商流程 #

在negotiate回调中调用父类实现，保证GStreamer执行完整的协商逻辑：

fn negotiate(&self) -> Result<(), gst::LoggableError> {
    // 先执行自定义逻辑，再调用父类negotiate
    self.parent_negotiate()?;
    Ok(())
}

验证 #

调整代码后重新运行原命令，查看调试输出，若出现set_caps和fixate_caps的调用日志，说明行为已与C版一致。

内容的提问来源于stack exchange，提问作者ImTheSquid