ScreenCaptureKit中CVPixelBuffer格式转换异常问题求助

问题根源 #

部分应用（如Calendar.app、Mail.app）的窗口像素缓冲区采用了内存对齐优化，行字节数（bytesPerRow）不等于「宽度×4」，直接按固定宽度计算像素数据位置会导致偏移，引发画面扭曲。而你确认CVPixelBuffer本身数据正常，说明问题完全出在CGImage/NSImage的转换环节。

可靠转换方案 #

方案1：严格基于CVPixelBuffer元数据创建CGImage

直接使用缓冲区的原始参数（尤其是bytesPerRow）构建CGImage，避免假设行字节数等于宽度×4：

// 锁定像素缓冲区获取数据
CVPixelBufferLockBaseAddress(pixelBuffer, 0);

void *pixelData = CVPixelBufferGetBaseAddress(pixelBuffer);
size_t width = CVPixelBufferGetWidth(pixelBuffer);
size_t height = CVPixelBufferGetHeight(pixelBuffer);
size_t bytesPerRow = CVPixelBufferGetBytesPerRow(pixelBuffer);

// 创建RGB颜色空间
CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();

// 用原始数据创建数据提供者
CGDataProviderRef dataProvider = CGDataProviderCreateWithData(
    NULL,
    pixelData,
    height * bytesPerRow,
    NULL
);

// 关键：匹配BGRA格式的位图信息
// kCVPixelFormatType_32BGRA对应字节顺序B-G-R-A，alpha在最后一位
CGImageBitmapInfo bitmapInfo = kCGImageAlphaPremultipliedLast | kCGBitmapByteOrder32Little;

// 创建CGImage
CGImageRef cgImage = CGImageCreate(
    width,
    height,
    8,          // 每个分量的位数
    32,         // 总像素位数
    bytesPerRow,
    colorSpace,
    bitmapInfo,
    dataProvider,
    NULL,
    NO,
    kCGRenderingIntentDefault
);

// 解锁缓冲区并释放资源
CVPixelBufferUnlockBaseAddress(pixelBuffer, 0);
CGColorSpaceRelease(colorSpace);
CGDataProviderRelease(dataProvider);

// 转换为NSImage
NSImage *nsImage = [[NSImage alloc] initWithCGImage:cgImage size:NSMakeSize(width, height)];
CGImageRelease(cgImage);

方案2：借助CoreImage自动处理格式与对齐

CoreImage的CIContext会自动处理像素缓冲区的行对齐、格式适配，无需手动计算参数：

// 从CVPixelBuffer创建CIImage
CIImage *ciImage = [CIImage imageWithCVPixelBuffer:pixelBuffer];

// 创建CoreImage上下文（建议复用，避免重复创建）
CIContext *ciContext = [CIContext contextWithOptions:@{
    kCIContextUseSoftwareRenderer: @NO, // 启用硬件加速
    kCIContextPriorityRequestLow: @YES
}];

// 转换为CGImage
CGImageRef cgImage = [ciContext createCGImage:ciImage
                                     fromRect:CGRectMake(0, 0,
                                                         CVPixelBufferGetWidth(pixelBuffer),
                                                         CVPixelBufferGetHeight(pixelBuffer))];

// 转换为NSImage
NSImage *nsImage = [[NSImage alloc] initWithCGImage:cgImage size:NSMakeSize(CVPixelBufferGetWidth(pixelBuffer), CVPixelBufferGetHeight(pixelBuffer))];
CGImageRelease(cgImage);

注意事项 #

• 复用CIContext：频繁创建CIContext会导致性能损耗，建议全局复用一个实例。
• 验证格式：转换前可通过CVPixelBufferGetPixelFormatType确认格式确实是kCVPixelFormatType_32BGRA，避免格式不匹配的隐性问题。

内容的提问来源于stack exchange，提问作者jnpdx