使用CoreML实现SceneKit风格迁移时如何获取帧CVPixelBuffer

正确获取SceneKit帧对应的CVPixelBuffer的方法 #

可通过绑定Metal纹理的方式零拷贝获取CVPixelBuffer，核心实现流程如下：

• 提前初始化Metal设备、命令队列和金属纹理缓存，若你已使用SCNView，可以直接复用其内置的renderer和Metal相关实例，无需重复创建
• 按照你的CoreML模型要求的像素格式（通常为kCVPixelFormatType_32BGRA）和SceneKit视图尺寸创建空CVPixelBuffer，注意开启Metal兼容属性
• 通过CoreVideo的纹理缓存接口，将CVPixelBuffer绑定为Metal渲染纹理，SceneKit渲染到该纹理的内容会自动同步到CVPixelBuffer，无需额外拷贝
• 配置渲染通道描述符，触发SCNRenderer执行离屏渲染，完成后即可得到包含SceneKit帧内容的CVPixelBuffer

核心代码示例：

// 提前初始化Metal基础组件
let mtlDevice = MTLCreateSystemDefaultDevice()!
let commandQueue = mtlDevice.makeCommandQueue()!
var textureCache: CVMetalTextureCache?
CVMetalTextureCacheCreate(nil, nil, mtlDevice, nil, &textureCache)

// 创建目标尺寸的CVPixelBuffer
let bufferWidth = Int(scnView.bounds.width)
let bufferHeight = Int(scnView.bounds.height)
var pixelBuffer: CVPixelBuffer?
CVPixelBufferCreate(nil, bufferWidth, bufferHeight, kCVPixelFormatType_32BGRA,
                    [kCVPixelBufferMetalCompatibilityKey: true] as CFDictionary,
                    &pixelBuffer)

// 绑定CVPixelBuffer为Metal渲染纹理
guard let pixelBuffer = pixelBuffer, let textureCache = textureCache else { return }
var cvMetalTexture: CVMetalTexture?
CVMetalTextureCacheCreateTextureFromImage(nil, textureCache, pixelBuffer, nil,
                                          .bgra8Unorm, bufferWidth, bufferHeight, 0,
                                          &cvMetalTexture)
guard let renderTexture = CVMetalTextureGetTexture(cvMetalTexture!) else { return }

// 配置渲染参数并触发渲染
let renderPassDesc = MTLRenderPassDescriptor()
renderPassDesc.colorAttachments[0].texture = renderTexture
renderPassDesc.colorAttachments[0].loadAction = .clear
renderPassDesc.colorAttachments[0].clearColor = MTLClearColor(red: 0, green: 0, blue: 0, alpha: 1)
renderPassDesc.colorAttachments[0].storeAction = .store

scnView.renderer.render(atTime: CACurrentMediaTime(),
                        viewport: CGRect(x: 0, y: 0, width: bufferWidth, height: bufferHeight),
                        commandQueue: commandQueue,
                        passDescriptor: renderPassDesc)

// 此时pixelBuffer可直接传入CoreML模型

更优的SceneKit风格迁移实现方案 #

可以通过全Metal管线优化进一步降低开销，提升实时渲染性能：

• 跳过CVPixelBuffer中转：CoreML支持直接传入MTLTexture作为输入特征，可将SceneKit渲染输出的纹理直接喂给模型，省去内存拷贝开销，实时场景下帧率可提升20%-40%
• 复用系统渲染回调：使用SCNSceneRendererDelegate的renderer(_:didRenderScene:atTime:)回调直接获取当前帧的渲染上下文，不需要手动触发离屏渲染，时序更稳定
• 输出链路零拷贝：如果你的CoreML模型输出为Metal纹理，可以直接将纹理渲染到CAMetalLayer上屏，不需要转成UIImage或者CVPixelBuffer，进一步降低端到端延迟
• iOS 16+简化方案：可直接调用SCNRenderer的nextCVPixelBuffer(forImageOf:viewport:atTime:)方法，无需手动绑定纹理，一行代码即可获取符合要求的CVPixelBuffer对象

内容的提问来源于stack exchange，提问作者Mane Manero