如何使用UWP/C++实现视频录制与帧关联元数据的同步采集？

这个同步问题我之前做UWP视频采集项目时也碰到过，核心原因大多是MediaFrameReader的配置没和视频录制流对齐，或者捕获过程中出现了丢帧。下面给你几个具体的解决步骤：

1. 统一MediaCapture与MediaFrameReader的媒体源配置 #

首先要确保两者使用完全一致的帧率、分辨率和编码格式，否则FrameReader的捕获频率自然会和录制帧率脱节：

• 在初始化MediaCapture前，先获取视频设备的支持格式，选择和你录制用的匹配的参数（比如30FPS的NV12格式）。
• 创建MediaFrameReader时，指定和录制流相同的MediaFrameSource，并设置对应的PreferredFormat。

示例代码片段：

// 先配置MediaCapture的录制参数
auto videoProfile = MediaCapture::FindKnownVideoProfiles(nullptr, KnownVideoProfile::VideoRecording)->GetAt(0);
MediaCaptureInitializationSettings^ initSettings = ref new MediaCaptureInitializationSettings();
initSettings->VideoProfile = videoProfile;
initSettings->StreamingCaptureMode = StreamingCaptureMode::Video;

// 初始化MediaCapture
co_await m_mediaCapture->InitializeAsync(initSettings);

// 获取对应的视频MediaFrameSource
auto videoSource = m_mediaCapture->FrameSources->Lookup(m_mediaCapture->VideoDeviceController->GetMediaFrameSourceGroup()->Sources->GetAt(0).Id);

// 设置FrameSource的格式与录制一致（这里用录制的编码Profile来匹配）
auto recordingProfile = MediaEncodingProfile::CreateMp4(VideoEncodingQuality::HD720p);
auto preferredFormat = videoSource->SupportedFormats->First([&](MediaFrameFormat^ format) {
    return format->VideoFormat->FrameRate == recordingProfile->Video->FrameRate &&
           format->VideoFormat->Width == recordingProfile->Video->Width &&
           format->VideoFormat->Height == recordingProfile->Video->Height;
})->Current;

videoSource->SetFormatAsync(preferredFormat);

// 创建匹配的MediaFrameReader
m_mediaFrameReader = co_await m_mediaCapture->CreateFrameReaderAsync(videoSource);
m_mediaFrameReader->FrameArrived += ref new TypedEventHandler<MediaFrameReader^, MediaFrameArrivedEventArgs^>(
    std::bind(&VideoRecordController::onFrameArrived, this, _1, _2));
// 启动FrameReader
co_await m_mediaFrameReader->StartAsync();

2. 优化FrameReader的捕获模式与事件处理 #

• 设置FrameReader的AcquisitionMode为MediaFrameAcquisitionMode::Continuous，确保它持续捕获帧，而不是按需获取：

  m_mediaFrameReader->AcquisitionMode = MediaFrameAcquisitionMode::Continuous;
  

• 在onFrameArrived事件中避免耗时操作：不要在事件回调里直接写文件或者做复杂计算，应该把元数据快速读取后，放到后台队列异步处理。阻塞回调会导致FrameReader丢帧，触发频率下降：

  void VideoRecordController::onFrameArrived(MediaFrameReader^ sender, MediaFrameArrivedEventArgs^ args) {
      MediaFrameReference^ frame = sender->TryAcquireLatestFrame();
      if (!frame) return;
  
      // 快速读取元数据，不要阻塞
      auto timestamp = frame->SystemRelativeTime->Value.Duration;
      auto cameraIntrinsics = frame->VideoMediaFrame->CameraIntrinsics;
      int currentFrameIndex = InterlockedIncrement(&m_frameIndex);
  
      // 把元数据放到后台线程处理
      winrt::fire_and_forget([=]() {
          co_await winrt::resume_background();
          // 这里做保存元数据的操作
          saveMetadata(timestamp, cameraIntrinsics, currentFrameIndex);
      });
  }
  

3. 用时间戳做最终对齐（兜底方案） #

如果还是存在少量不同步的情况，可以通过SystemRelativeTime来关联视频帧和元数据：

• 视频录制的每一帧其实也带有时间戳，可以通过MediaCapture的RecordFrameCaptured事件获取录制帧的时间戳，然后和FrameReader捕获的元数据时间戳做匹配，即使FrameReader偶尔丢帧，也能准确关联对应的元数据。

示例：

// 监听录制帧捕获事件
m_mediaCapture->RecordFrameCaptured += ref new TypedEventHandler<MediaCapture^, RecordFrameCapturedEventArgs^>(
    [=](MediaCapture^ capture, RecordFrameCapturedEventArgs^ args) {
        auto recordTimestamp = args->FrameData->SystemRelativeTime->Value.Duration;
        // 这里可以和之前保存的元数据时间戳做匹配关联
        matchMetadataWithRecordFrame(recordTimestamp);
    });

为什么之前会不同步？ #

大概率是这两个原因：

• FrameReader默认使用的格式/帧率和录制流不一致，导致捕获频率不匹配；
• onFrameArrived回调里的操作太耗时，导致FrameReader无法及时处理新帧，出现丢帧，触发频率降低到20次/秒左右。

内容的提问来源于stack exchange，提问作者DadEap Purple