如何在iOS中将WebRTC的RTCI420Buffer转换为CVPixelBuffer？

问题背景 #

在iOS平台处理WebRTC视频流时，需要将RTCI420Buffer转换为CVPixelBuffer用于后续视频渲染（如画中画功能），现有转换逻辑中缺少convertToCVPixelBuffer()函数的具体实现，以下是完整的实现方案及原理说明。

完整实现代码 #

通过扩展RTCI420Buffer来实现转换方法：

import WebRTC
import CoreVideo

extension RTCI420Buffer {
    func convertToCVPixelBuffer() -> CVPixelBuffer? {
        let width = Int(self.width)
        let height = Int(self.height)
        // 选择iOS兼容的YUV420半平面格式
        let pixelFormat = kCVPixelFormatType_420YpCbCr8BiPlanarFullRange
        
        // 配置CVPixelBuffer的创建参数
        let bufferAttributes: [CFString: Any] = [
            kCVPixelBufferPixelFormatTypeKey: pixelFormat,
            kCVPixelBufferWidthKey: width,
            kCVPixelBufferHeightKey: height,
            kCVPixelBufferBytesPerRowAlignmentKey: 16, // 内存对齐优化性能
            kCVPixelBufferIOSurfacePropertiesKey: [:] // 支持IOSurface，适配渲染场景
        ]
        
        var targetPixelBuffer: CVPixelBuffer?
        let createStatus = CVPixelBufferCreate(
            kCFAllocatorDefault,
            width,
            height,
            pixelFormat,
            bufferAttributes as CFDictionary,
            &targetPixelBuffer
        )
        
        guard createStatus == kCVReturnSuccess, let pixelBuffer = targetPixelBuffer else {
            return nil
        }
        
        // 锁定缓冲区，确保内存可读写
        CVPixelBufferLockBaseAddress(pixelBuffer, .readOnly)
        defer {
            CVPixelBufferUnlockBaseAddress(pixelBuffer, .readOnly)
        }
        
        // 获取Y、CbCr平面的内存地址和行字节数
        guard let yBaseAddr = CVPixelBufferGetBaseAddressOfPlane(pixelBuffer, 0),
              let cbCrBaseAddr = CVPixelBufferGetBaseAddressOfPlane(pixelBuffer, 1) else {
            return nil
        }
        
        let yStride = CVPixelBufferGetBytesPerRowOfPlane(pixelBuffer, 0)
        let cbCrStride = CVPixelBufferGetBytesPerRowOfPlane(pixelBuffer, 1)
        
        // 拷贝Y通道数据（全分辨率）
        memcpy(yBaseAddr, self.dataY, Int(self.strideY) * height)
        
        // 处理Cb/Cr通道：将RTCI420的平面U/V转换为半平面交错的Cb/Cr
        let uvRowCount = height / 2
        let uvColumnCount = width / 2
        
        for row in 0..<uvRowCount {
            // 计算当前行的Cb、Cr数据目标地址
            let cbDest = cbCrBaseAddr.advanced(by: row * cbCrStride)
            let crDest = cbCrBaseAddr.advanced(by: row * cbCrStride + 1)
            
            // 计算当前行的U、V数据源地址
            let uSrc = self.dataU.advanced(by: row * Int(self.strideU))
            let vSrc = self.dataV.advanced(by: row * Int(self.strideV))
            
            // 交错拷贝U(Cb)和V(Cr)数据
            memcpy(cbDest, uSrc, uvColumnCount)
            memcpy(crDest, vSrc, uvColumnCount)
        }
        
        return pixelBuffer
    }
}

转换原理说明 #

1. 格式匹配：RTCI420Buffer采用YUV420平面格式（Y、U、V三个独立平面），而iOS平台常用的兼容格式是kCVPixelFormatType_420YpCbCr8BiPlanarFullRange（Y平面独立，Cb/Cr交错存储在一个平面），因此需要将U、V平面数据转换为交错格式。
2. 内存操作优化：通过CVPixelBufferLockBaseAddress锁定缓冲区后直接使用memcpy进行内存拷贝，避免额外的数据转换开销，保证转换效率。
3. 内存对齐：配置中指定16字节的行对齐，符合iOS平台的内存访问规范，提升数据读写性能。

原转换函数的使用 #

现在可以直接调用原代码中的getCVPixelBuffer函数，因为RTCI420Buffer已经具备了convertToCVPixelBuffer()方法。

内容的提问来源于stack exchange，提问作者lewiswsq2211