如何将OpenCVSharp UMat直接复制到WriteableBitmap以优化性能？

结论 #

完全可以直接将UMat的数据复制到WriteableBitmap，以此减少内存拷贝次数，提升视频帧处理的性能。

实现步骤与代码示例 #

• 先确保UMat的像素格式与WriteableBitmap匹配：比如OpenCV的BGR24格式对应WPF的PixelFormats.Bgr24，RGBA对应PixelFormats.Bgra32，避免额外的格式转换开销。
• 利用UMat的Ptr属性获取内存指针，结合WriteableBitmap的Lock()方法拿到可写入的内存区域，直接执行内存拷贝：

  // 假设已完成GPU处理的UMat为processedUmat，初始化好的WriteableBitmap为wb
  using (var bitmapLock = wb.Lock())
  {
      // 检查UMat是否为连续内存块，非连续则转为连续
      if (!processedUmat.IsContinuous())
      {
          processedUmat = processedUmat.Clone();
      }
  
      IntPtr umatPtr = processedUmat.Ptr;
      IntPtr bitmapBufferPtr = bitmapLock.BackBuffer;
      int totalBytes = processedUmat.Step() * processedUmat.Rows;
  
      // 用OpenCV的Memcpy直接完成内存拷贝，效率高于Marshal.Copy
      OpenCvSharp.Cv2.Memcpy(bitmapBufferPtr, umatPtr, totalBytes);
  
      // 标记WriteableBitmap的脏区域，触发UI更新
      wb.AddDirtyRect(new Int32Rect(0, 0, wb.PixelWidth, wb.PixelHeight));
  }
  

关键注意事项 #

• 连续内存检查：UMat可能因为裁剪、ROI操作导致内存不连续，必须先通过IsContinuous()判断，非连续时调用Clone()转为连续内存，否则直接拷贝会出现图像错乱。
• 线程安全：在net6.0-windows10.0.18362.0框架下，WriteableBitmap的更新操作必须在UI线程执行，避免跨线程访问异常。
• 显存同步：UMat的Ptr属性会自动处理GPU显存到主机内存的映射同步，无需手动调用额外的同步API，这一步已经是最低开销的方式。

性能优化点 #

原常规流程是UMat → Mat → WriteableBitmap，存在两次内存拷贝（UMat转Mat时的显存到主机内存拷贝，Mat转WriteableBitmap的内存拷贝）；新流程直接从UMat拷贝到WriteableBitmap，仅一次拷贝操作，在高分辨率RTSP流场景下，能明显降低内存占用和处理延迟。

内容的提问来源于stack exchange，提问作者Spuriga