如何实现EmguCv UMat与SkiaSharp的高效互转优化视频绘图流程

核心思路是利用OpenGL纹理共享，让EmguCV的UMat（GPU内存）和SkiaSharp的OpenGL绘图上下文直接复用同一块GPU纹理，全程避免数据在CPU和GPU之间传输，最大化利用Intel UHD Graphics的硬件加速能力。

一、初始化准备 #

1. 确保EmguCV与SkiaSharp使用共享的OpenGL上下文
   • 初始化EmguCV时启用OpenGL后端：CvInvoke.UseOpenGl();
   • 配置SkiaSharp使用与EmguCV相同的OpenGL上下文（比如Windows下通过GlInvoke获取上下文句柄传递给SkiaSharp；MAUI/WPF中通过平台API共享上下文）
2. 统一像素格式
   EmguCV的UMat默认是BGR格式，SkiaSharp优先使用RGBA格式。直接在GPU端完成格式转换（无CPU参与）：

   if (umat.Format == Emgu.CV.CvEnum.DepthType.Cv8U && umat.NumberOfChannels == 3)
   {
       CvInvoke.CvtColor(umat, umat, ColorConversion.Bgr2Rgba);
   }
   

二、UMat转SkiaSharp（GPU端直接复用纹理） #

直接将UMat对应的OpenGL纹理包装为SkiaSharp的绘图表面，无需任何内存拷贝：

// 获取UMat的OpenGL纹理信息
var textureInfo = umat.GetTextureInfo();

// 创建SkiaSharp纹理，直接复用UMat的GPU纹理ID
var skTexture = SKTexture.Create(
    textureInfo.TextureId,
    SKColorType.Rgba8888,
    umat.Width,
    umat.Height,
    SKAlphaType.Premul
);

// 创建可绘图的SKSurface，绑定到该GPU纹理
using var surface = SKSurface.Create(
    new SKImageInfo(umat.Width, umat.Height, SKColorType.Rgba8888, SKAlphaType.Premul),
    skTexture.Handle,
    SKSurfaceProps.Default
);

// 获取画布进行复杂绘图（透明度、多字体等）
using var canvas = surface.Canvas;
// 示例：绘制半透明加粗文本
var paint = new SKPaint
{
    Color = SKColors.Red.WithAlpha(128),
    TextSize = 48,
    Typeface = SKTypeface.FromFamilyName("Arial", SKFontStyle.Bold)
};
canvas.DrawText("运动检测告警", 50, 50, paint);

三、SkiaSharp绘图后转回UMat（GPU端同步） #

绘图完成后，SkiaSharp已经直接修改了GPU上的纹理数据，UMat本身就关联该纹理，只需同步上下文即可直接使用：

// 刷新SkiaSharp绘图命令，确保GPU执行完成
surface.Flush();

// 可选：若需要强制同步GPU数据到UMat（部分场景下需要）
CvInvoke.Copy(umat, umat); // 此操作在GPU内部完成，无CPU参与

// 直接将UMat写入RTSP推流
videoWriter.Write(umat);

四、关键优化与注意事项 #

• 绝对避免CPU-GPU拷贝：不要使用umat.GetMat()将数据下载到CPU再转换为SKBitmap——这会完全抵消GPU加速的优势。
• 上下文共享验证：若出现纹理访问错误，检查EmguCV和SkiaSharp的OpenGL上下文是否真正共享（可通过glGetIntegerv(GL_SHARED_CONTEXT)验证）。
• 资源释放：使用using语句自动释放SKSurface、SKCanvas、SKPaint等资源，同时及时释放不再使用的UMat，避免GPU内存泄漏。
• 性能监控：通过Intel Graphics Command Center监控GPU负载，确认所有操作均在GPU端执行，无大量CPU内存占用。

内容的提问来源于stack exchange，提问作者JuanDYB