UWP中获取MediaFrameReader的Stream调用Azure Face API人脸检测报错求助

我明白你现在卡在把摄像头实时帧通过Stream传给Azure Face API的问题上——既遇到了内存访问违例，又有BadRequest，而且已经确认API本身是正常的，这确实让人头疼。结合你提供的代码，我来给你拆解几个关键问题和修复方案：

核心问题分析 #

1. 内存访问违例：直接使用MediaFrame的原始Stream时，帧数据可能在API处理前就被系统回收，导致访问已释放的内存。
2. BadRequest异常：你选用的NV12是原始视频格式，Azure Face API并不支持这种格式，它只支持JPEG、PNG、BMP等标准图像格式。

修复方案一：正确处理MediaFrame并转换为API支持的格式 #

下面是修改后的CheckFrameForFaces方法，加上格式转换的辅助逻辑，确保传给API的是合法的JPEG流：

using Windows.Graphics.Imaging;
using System.Diagnostics;

private async void CheckFrameForFaces(MediaFrameReader sender, MediaFrameArrivedEventArgs args)
{
    using (var mediaFrame = sender.TryAcquireLatestFrame())
    {
        if (mediaFrame == null) return;

        // 将NV12格式的VideoFrame转换为BGRA8的SoftwareBitmap
        var videoFrame = mediaFrame.VideoMediaFrame.GetVideoFrame();
        using (var softwareBitmap = SoftwareBitmap.Convert(videoFrame.SoftwareBitmap, BitmapPixelFormat.Bgra8, BitmapAlphaMode.Premultiplied))
        {
            // 将SoftwareBitmap编码为JPEG流
            using (var jpegStream = new MemoryStream())
            {
                var encoder = await BitmapEncoder.CreateAsync(BitmapEncoder.JpegEncoderId, jpegStream.AsRandomAccessStream());
                encoder.SetSoftwareBitmap(softwareBitmap);
                encoder.BitmapTransform.ScaledWidth = 640; // 可选：缩小尺寸提升性能
                encoder.BitmapTransform.ScaledHeight = 480;
                encoder.IsThumbnailGenerated = false;
                await encoder.FlushAsync();

                // 将流重置到起始位置，再传给Face API
                jpegStream.Seek(0, SeekOrigin.Begin);
                try
                {
                    var detectedFaces = await Api.DetectFaces(jpegStream);
                    foreach (var face in detectedFaces)
                    {
                        var age = face.FaceAttributes.Age;
                        // 这里可以添加你的业务逻辑
                    }
                }
                catch (APIErrorException ex)
                {
                    Debug.WriteLine($"Face API Error: {ex.Message}");
                }
            }
        }
    }
}

关键修改点：

• 使用using语句包裹MediaFrame和SoftwareBitmap，确保资源及时释放，避免内存泄漏。
• 将NV12格式转换为API支持的JPEG格式，解决BadRequest问题。
• 对Stream进行Seek(0, SeekOrigin.Begin)，确保API从流的起始位置读取数据。

修复方案二：修复RenderTargetBitmap的Stream问题 #

如果你想用RenderTargetBitmap的方案，同样需要把BGRA格式的像素数据编码为标准图像流：

using Windows.Graphics.Imaging;

await Dispatcher.RunAsync(Windows.UI.Core.CoreDispatcherPriority.Normal, async () => {
    RenderTargetBitmap renderTargetBitmap = new RenderTargetBitmap();
    await renderTargetBitmap.RenderAsync(canvas);
    var pixelBuffer = await renderTargetBitmap.GetPixelsAsync();
    
    // 将BGRA像素数据转换为SoftwareBitmap
    using (var softwareBitmap = new SoftwareBitmap(
        BitmapPixelFormat.Bgra8,
        renderTargetBitmap.PixelWidth,
        renderTargetBitmap.PixelHeight,
        BitmapAlphaMode.Premultiplied))
    {
        softwareBitmap.CopyFromBuffer(pixelBuffer);
        
        // 编码为JPEG流
        using (var jpegStream = new MemoryStream())
        {
            var encoder = await BitmapEncoder.CreateAsync(BitmapEncoder.JpegEncoderId, jpegStream.AsRandomAccessStream());
            encoder.SetSoftwareBitmap(softwareBitmap);
            await encoder.FlushAsync();
            
            jpegStream.Seek(0, SeekOrigin.Begin);
            var detectedFaces = await Api.DetectFaces(jpegStream);
            foreach (var face in detectedFaces)
            {
                var age = face.FaceAttributes.Age;
            }
        }
    }
});

额外优化建议 #

• 降低帧处理频率：摄像头每秒产生30帧左右，没必要每帧都调用API，可以设置一个定时器，比如每200ms处理一次帧，减少API调用次数和性能消耗。
• 错误处理增强：在调用Face API时添加重试逻辑，避免网络波动导致的偶发失败。
• 权限检查：确保你的应用已经申请了webcam权限，在Package.appxmanifest里确认相关权限配置。

内容的提问来源于stack exchange，提问作者pedro