同一Swift应用在模拟器与真机提取视频帧图像不一致问题

问题背景 #

同一Swift应用在iOS模拟器和真实设备上处理同一视频时，调用AVAssetImageGenerator.generateCGImagesAsynchronously接口生成的CGImage存在BitmapInfo差异。用户尝试通过重绘CGContext修改模拟器端图像的BitmapInfo以匹配真机，但未生效。

相关业务代码：

assetImageGenerator.appliesPreferredTrackTransform = true
assetImageGenerator.requestedTimeToleranceBefore = CMTime.zero
assetImageGenerator.requestedTimeToleranceAfter = CMTime.zero
assetImageGenerator.generateCGImagesAsynchronously(forTimes: times){rTime,image,aTime,_,error in
    savePNG(image, url)
}

// 保存PNG的方法
static func savePNG(_ image: CGImage, url: CFURL, properties: CFDictionary? = nil) {
    guard let myImageDest = CGImageDestinationCreateWithURL(url, kUTTypePNG, 1, nil) else { return }
    CGImageDestinationAddImage(myImageDest, image, properties)
    CGImageDestinationFinalize(myImageDest)
}

用户尝试的无效转换代码：

let colorSpace = CGColorSpaceCreateDeviceRGB()
let bitmapInfo = CGBitmapInfo(rawValue: CGBitmapInfo.byteOrder32Little.rawValue | CGImageAlphaInfo.premultipliedFirst.rawValue)
let ctx = CGContext(data: nil,
                    width: image.width,
                    height: image.height,
                    bitsPerComponent: image.bitsPerComponent,
                    bytesPerRow: image.bytesPerRow,
                    space: image.colorSpace ?? colorSpace,
                    bitmapInfo: bitmapInfo.rawValue)!
ctx.draw(image, in: bounds)
let resultCGimage = ctx.makeImage()

原因分析 #

1. AVAssetImageGenerator在模拟器和真机上的底层实现不同，生成的CGImage默认像素格式（BitmapInfo）存在差异，比如真机可能采用premultipliedFirst + byteOrder32Little组合，模拟器则是其他格式。
2. 无效转换代码的问题：直接复用原图像的bitsPerComponent和bytesPerRow，可能与目标BitmapInfo不兼容；同时未明确指定每个颜色分量的位数，导致上下文创建时格式匹配失败，最终生成的图像BitmapInfo未被正确修改。

解决方案 #

通过正确创建目标格式的CGContext，重绘原图像以统一BitmapInfo，具体步骤如下：

1. 实现CGImage格式转换函数 #

func convertCGImageToTargetFormat(_ image: CGImage) -> CGImage? {
    let targetColorSpace = CGColorSpaceCreateDeviceRGB()
    // 定义目标BitmapInfo，与真机格式对齐
    let targetBitmapInfo = CGBitmapInfo(rawValue: CGBitmapInfo.byteOrder32Little.rawValue | CGImageAlphaInfo.premultipliedFirst.rawValue)
    
    // 计算符合目标格式的bytesPerRow：每个像素4字节（RGB+Alpha），按宽度计算
    let bytesPerRow = image.width * 4
    // 明确指定每个颜色分量为8位，确保格式统一
    let bitsPerComponent = 8
    
    guard let context = CGContext(data: nil,
                                  width: image.width,
                                  height: image.height,
                                  bitsPerComponent: bitsPerComponent,
                                  bytesPerRow: bytesPerRow,
                                  space: targetColorSpace,
                                  bitmapInfo: targetBitmapInfo.rawValue) else {
        return nil
    }
    
    // 将原图像绘制到新上下文
    context.draw(image, in: CGRect(x: 0, y: 0, width: image.width, height: image.height))
    
    return context.makeImage()
}

2. 修改视频帧处理流程 #

在生成CGImage后，先转换格式再保存：

assetImageGenerator.generateCGImagesAsynchronously(forTimes: times) { requestedTime, image, actualTime, result, error in
    guard let cgImage = image, let convertedImage = convertCGImageToTargetFormat(cgImage) else {
        return
    }
    savePNG(convertedImage, url: yourSaveURL)
}

可选方案：通过ImageIO强制统一输出格式 #

如果不需要修改CGImage本身，也可以在保存PNG时通过ImageIO的属性强制指定输出格式，确保模拟器和真机输出一致：

static func savePNGWithUniformFormat(_ image: CGImage, url: CFURL) {
    // 指定PNG输出的像素格式等属性
    let outputProperties = [
        kCGImagePropertyPNGInterlaceType: kCGImagePropertyPNGDontInterlace,
        kCGImagePropertyPixelFormat: kCGImagePixelFormatRGBA8888 // 明确指定RGBA8888格式
    ] as CFDictionary
    
    guard let imageDest = CGImageDestinationCreateWithURL(url, kUTTypePNG, 1, nil) else {
        return
    }
    CGImageDestinationAddImage(imageDest, image, outputProperties)
    CGImageDestinationFinalize(imageDest)
}

验证 #

使用上述方案后，模拟器和真机生成的PNG图像BitmapInfo将保持一致，Python对比工具检测不会再出现格式差异。

内容的提问来源于stack exchange，提问作者Postnik