如何从RTSP流中提取接收帧的摄像头时间戳？

你要获取的摄像头硬件时间戳，通常是设备采集帧时生成的原始时间，这类信息一般封装在RTP扩展头、**RTCP Sender Report（SR）**中，部分厂商也会将其嵌入媒体帧的元数据里。uridecodebin作为高层封装元素，默认不会把这类底层信息暴露到appsink的缓冲区中，需要通过以下方案手动处理：

方案1：拆解管道到RTP层级，直接解析RTP头 #

替换高层的uridecodebin为更细粒度的元素链，在RTP包解封装前提取时间戳：

// 替换原uridecodebin的元素链
GstElement *rtspsrc = gst_element_factory_make("rtspsrc", "rtsp_src");
GstElement *rtph264depay = gst_element_factory_make("rtph264depay", "depay");
GstElement *h264parse = gst_element_factory_make("h264parse", "parse");
GstElement *avdec_h264 = gst_element_factory_make("avdec_h264", "decoder");
// 后续连接你的videoconvert和appsink

给rtspsrc的输出Pad添加探针，在RTP包流转时提取头信息：

// 为rtspsrc的src pad添加探针
GstPad *src_pad = gst_element_get_static_pad(rtspsrc, "src");
gst_pad_add_probe(src_pad, GST_PAD_PROBE_TYPE_BUFFER, (GstPadProbeCallback)rtp_probe_cb, NULL, NULL);
gst_object_unref(src_pad);

// 探针回调函数，提取RTP时间戳
static GstPadProbeReturn rtp_probe_cb(GstPad *pad, GstPadProbeInfo *info, gpointer user_data) {
    GstBuffer *buf = GST_PAD_PROBE_INFO_BUFFER(info);
    if (!buf) return GST_PAD_PROBE_OK;

    GstRTPBuffer rtp_buf;
    if (gst_rtp_buffer_map(buf, GST_MAP_READ, &rtp_buf)) {
        // 获取RTP相对时间戳
        guint32 rtp_ts = gst_rtp_buffer_get_timestamp(&rtp_buf);
        g_print("RTP相对时间戳: %u\n", rtp_ts);
        gst_rtp_buffer_unmap(&rtp_buf);
    }

    return GST_PAD_PROBE_OK;
}

注意：RTP时间戳是相对起始时间的增量值，需要结合RTCP SR中的NTP时间转换为绝对时间。通过监听rtspsrc的on-sender-report信号获取SR信息：

g_signal_connect(rtspsrc, "on-sender-report", G_CALLBACK(on_sr_received), NULL);

// SR回调函数，转换NTP时间为Unix时间戳
static void on_sr_received(GstElement *rtspsrc, guint32 ssrc, guint64 ntp_time, guint32 rtp_time, guint32 packet_count, guint32 octet_count, gpointer user_data) {
    guint32 seconds = ntp_time >> 32;
    guint32 fraction = ntp_time & 0xFFFFFFFF;
    double unix_time = seconds - 2208988800UL + (double)fraction / 0x100000000UL;
    g_print("摄像头绝对时间: %.3f, 对应RTP时间戳: %u\n", unix_time, rtp_time);
    // 保存该映射关系，用于后续RTP时间戳转绝对时间
}

方案2：从GstBuffer元数据中查找硬件时间戳 #

部分厂商会将硬件时间戳嵌入GStreamer缓冲区的元数据中，可在appsink的回调中检查：

// appsink的new-sample回调函数
static GstFlowReturn new_sample(GstElement *sink, gpointer user_data) {
    GstSample *sample = gst_app_sink_pull_sample(GST_APP_SINK(sink));
    GstBuffer *buf = gst_sample_get_buffer(sample);

    // 查找摄像头硬件时间戳元数据（键名因厂商而异）
    GstStructure *meta = gst_buffer_get_metadata(buf, "camera-timestamp");
    if (meta) {
        guint64 hw_ts;
        if (gst_structure_get_uint64(meta, "value", &hw_ts)) {
            g_print("摄像头硬件时间戳: %" PRIu64 "\n", hw_ts);
        }
    }

    gst_sample_unref(sample);
    return GST_FLOW_OK;
}

注：元数据键名无统一标准，可能是device-timestamp、hw-timestamp等，需参考摄像头厂商文档或抓包确认。

方案3：通过RTSP命令直接获取设备时间 #

若摄像头支持RTSP扩展，可发送GET_PARAMETER命令请求设备当前时间：

// 构造并发送RTSP GET_PARAMETER请求
GstStructure *params = gst_structure_new("time-request", "method", G_TYPE_STRING, "GET_PARAMETER", NULL);
gst_element_send_event(rtspsrc, gst_event_new_custom(GST_EVENT_CUSTOM_DOWNSTREAM, params));

监听rtspsrc的message信号，解析响应中的设备时间即可。此方法依赖设备支持，兼容性有限。

你提到的pts/dts是GStreamer本地同步后的时间，确实与摄像头硬件时间无关，必须从RTP层或设备元数据层面提取。

内容的提问来源于stack exchange，提问作者Il'ya Zhenin