iOS开发：如何将UIImage转为MediaPipe兼容的32BGRA格式CVPixelBuffer？

你的问题核心是手动转换得到的32BGRA格式CVPixelBuffer不符合MediaPipe的预期，而AVCaptureVideoDataOutput的帧是MediaPipe适配过的格式，所以能正常工作。主要问题出在bitmapInfo配置错误和图像坐标系不匹配两个点上，以下是具体修正方案：

1. 修正BitmapInfo的配置错误 #

你当前代码中使用的CGImageAlphaInfo.premultipliedFirst对应ARGB格式（Alpha通道在首位），但kCVPixelFormatType_32BGRA的像素顺序是B-G-R-A（Alpha通道在末位），两者不匹配会导致MediaPipe解析像素数据时出错。

需要将bitmapInfo改为：

let bitmapInfo = CGBitmapInfo(rawValue: CGBitmapInfo.byteOrder32Little.rawValue | CGImageAlphaInfo.premultipliedLast.rawValue)

2. 匹配MediaPipe的图像坐标系 #

AVCaptureVideoDataOutput输出的视频帧是垂直翻转的（相机传感器的输出坐标系与UI坐标系相反），而MediaPipe默认处理这种翻转后的帧。如果你的CGImage是正常方向（比如从相册、本地图片加载），直接绘制会导致图像方向与MediaPipe预期不符，触发断言或内存错误。

解决方法是在绘制时对图像进行垂直翻转：

context?.translateBy(x: 0, y: frameSize.height)
context?.scaleBy(x: 1.0, y: -1.0)

3. 优化CVPixelBuffer创建属性 #

为了让MediaPipe更高效地处理像素 buffer，建议创建时指定IOSurface属性，避免不必要的数据复制：

let attributes = [
    kCVPixelBufferIOSurfacePropertiesKey: [:]
] as CFDictionary
let status = CVPixelBufferCreate(kCFAllocatorDefault, Int(frameSize.width), Int(frameSize.height), kCVPixelFormatType_32BGRA, attributes, &pixelBuffer)

修正后的完整代码 #

func convertToBGRA(_ cgImage: CGImage) -> CVPixelBuffer? {
    let frameSize = CGSize(width: cgImage.width, height: cgImage.height)
    
    var pixelBuffer: CVPixelBuffer? = nil
    let attributes = [
        kCVPixelBufferIOSurfacePropertiesKey: [:]
    ] as CFDictionary
    let status = CVPixelBufferCreate(kCFAllocatorDefault, Int(frameSize.width), Int(frameSize.height), kCVPixelFormatType_32BGRA, attributes, &pixelBuffer)
    
    guard status == kCVReturnSuccess, let buffer = pixelBuffer else {
        return nil
    }
    
    CVPixelBufferLockBaseAddress(buffer, CVPixelBufferLockFlags(rawValue: 0))
    defer {
        CVPixelBufferUnlockBaseAddress(buffer, CVPixelBufferLockFlags(rawValue: 0))
    }
    
    guard let data = CVPixelBufferGetBaseAddress(buffer),
          let context = CGContext(data: data,
                                  width: Int(frameSize.width),
                                  height: Int(frameSize.height),
                                  bitsPerComponent: 8,
                                  bytesPerRow: CVPixelBufferGetBytesPerRow(buffer),
                                  space: CGColorSpaceCreateDeviceRGB(),
                                  bitmapInfo: CGBitmapInfo(rawValue: CGBitmapInfo.byteOrder32Little.rawValue | CGImageAlphaInfo.premultipliedLast.rawValue).rawValue) else {
        return nil
    }
    
    // 垂直翻转图像，匹配MediaPipe预期的坐标系
    context.translateBy(x: 0, y: frameSize.height)
    context.scaleBy(x: 1.0, y: -1.0)
    
    context.draw(cgImage, in: CGRect(x: 0, y: 0, width: cgImage.width, height: cgImage.height))
    
    return buffer
}

额外排查点 #

如果修改后仍报错，可以检查以下内容：

• 确保输入的CGImage没有损坏，宽高值有效
• 验证CVPixelBuffer的字节行宽（bytesPerRow）是否符合32BGRA的对齐要求（通常是宽×4的整数倍）
• 检查MediaPipe的输入配置是否正确指定了图像格式为IMAGE_FORMAT_BGRA

内容的提问来源于stack exchange，提问作者normidar