GStreamer-sharp：如何逐帧读取MP4并提取相机捕获时间匹配指定时间戳

一、推荐的GStreamer管道配置 #

要实现从MP4中遍历帧并提取带相机捕获时间的目标帧，推荐使用以下管道：

filesrc location=input.mp4 ! qtdemux ! h264parse ! avdec_h264 ! videoconvert ! appsink name=sink emit-signals=true sync=false

• sync=false：关闭播放同步，让appsink可以快速遍历所有帧，无需等待播放时序
• 各元素作用：qtdemux解封装MP4，h264parse解析H.264流，avdec_h264解码视频，videoconvert统一视频格式，appsink将帧数据输出到自定义逻辑处理

二、GetReferenceTimestampMeta的可用性 #

可以通过GetReferenceTimestampMeta获取相机捕获时间，但需满足两个前提：

1. 目标MP4文件每帧嵌入了相机捕获时间元数据（仅文件级元标签无法实现每帧时间获取）
2. 解封装/解码元素（如qtdemux、avdec_h264）能够正确解析该元数据，并将其附加到GstBuffer的ReferenceTimestampMeta中

如果MP4未嵌入每帧捕获时间，该Meta会返回null，此时只能退而求其次使用PTS（但不符合需求），或确认文件元数据的存储方式做适配。

三、gstreamer-sharp代码适配（带时间戳筛选逻辑） #

基于你的示例代码，调整后实现最接近时间帧的筛选逻辑：

全局变量定义 #

// 目标时间戳（示例为毫秒级，根据实际需求调整）
private static long targetTimestamp = 1620000000000;
// 存储最接近目标时间的帧缓冲区
private static Gst.Buffer closestBuffer = null;
// 记录最小时间差
private static long closestTimestampDiff = long.MaxValue;
// 线程锁保证多线程安全
private static readonly object lockObj = new object();

调整后的AppSink事件处理 #

private static void AppSink_NewSample(object o, NewSampleArgs args)
{
    if (o is not AppSink aps) return;

    using var sample = aps.PullSample();
    using var buf = sample.Buffer;

    long captureTimestamp = 0;
    var tsMeta = buf.GetReferenceTimestampMeta();

    if (tsMeta != null)
    {
        // 将纳秒级时间戳转换为毫秒
        captureTimestamp = (long)tsMeta.Timestamp / 1000000;
    }
    else
    {
        // 无捕获时间Meta时的降级处理（仅作示例，不符合需求）
        var pts = buf.Pts;
        if (pts == Gst.ClockTime.None) return;
        captureTimestamp = (long)pts / 1000000;
    }

    CompareTimestamp(captureTimestamp, buf);
}

private static void CompareTimestamp(long captureTimestamp, Gst.Buffer buf)
{
    lock (lockObj)
    {
        long currentDiff = Math.Abs(captureTimestamp - targetTimestamp);
        if (currentDiff < closestTimestampDiff)
        {
            closestTimestampDiff = currentDiff;
            // 复制缓冲区避免原数据被自动释放
            closestBuffer?.Dispose();
            closestBuffer = buf.Copy();
        }
    }
}

管道结束后处理目标帧 #

// 管道播放完成后调用，保存或处理最接近的帧
private static void SaveClosestFrame()
{
    if (closestBuffer == null)
    {
        Console.WriteLine("未找到符合条件的帧");
        return;
    }

    // 将帧保存为PNG示例
    using var sample = Gst.Sample.New(closestBuffer, Gst.Caps.FromString("video/x-raw,format=BGR"), null, null);
    using var pngEnc = Gst.ElementFactory.Make("pngenc") as Gst.Element;
    using var fileSink = Gst.ElementFactory.Make("filesink") as Gst.Element;
    
    fileSink.SetProperty("location", "closest_frame.png");
    
    using var pipeline = new Gst.Pipeline("save-frame-pipeline");
    pipeline.Add(pngEnc, fileSink);
    pngEnc.Link(fileSink);
    
    var sinkPad = pngEnc.GetStaticPad("sink");
    sinkPad.PushSample(sample);

    Console.WriteLine($"已保存最接近目标时间的帧，时间差：{closestTimestampDiff}毫秒");
    closestBuffer.Dispose();
}

四、关键注意事项 #

• 确保使用GStreamer 1.16及以上版本，保证ReferenceTimestampMeta的兼容性
• 提前验证MP4文件是否包含每帧相机捕获时间元数据，可通过gst-discoverer-1.0 input.mp4查看元信息
• 处理缓冲区时需注意内存管理，使用using或手动调用Dispose避免内存泄漏
• 若目标时间戳为秒级，需转换为毫秒后再与捕获时间做比较

内容的提问来源于stack exchange，提问作者Sharov