Swift中AVDepthData从pixelBuffer映射至RGBA及iPhone 7 Plus深度-图像映射问题

嘿，刚好踩过这个坑！给你整理一套完整的解决方案，覆盖你提到的两个核心需求：把AVDepthData转成RGBA格式，以及搞定iPhone 7 Plus上深度数据和色彩图像的尺寸不匹配问题。

AVDepthData默认是浮点型的深度/视差数据，我们需要把它映射到0-255的灰度范围，再转成RGBA（这里用iOS常用的BGRA格式，兼容性更好）。

下面是可直接复用的Swift代码：

import AVFoundation
import CoreVideo

func convertDepthDataToRGBA(_ depthData: AVDepthData) -> CVPixelBuffer? {
    // 先将深度数据统一转换为Float32格式，方便后续计算
    let convertedDepthData = depthData.converting(toDepthDataType: kCVPixelFormatType_DepthFloat32)
    guard let depthPixelBuffer = convertedDepthData.depthDataMap else { return nil }
    
    // 创建BGRA格式的输出像素缓冲区
    let width = CVPixelBufferGetWidth(depthPixelBuffer)
    let height = CVPixelBufferGetHeight(depthPixelBuffer)
    var outputPixelBuffer: CVPixelBuffer?
    let status = CVPixelBufferCreate(nil, width, height, kCVPixelFormatType_32BGRA, nil, &outputPixelBuffer)
    guard status == kCVReturnSuccess, let outputBuffer = outputPixelBuffer else { return nil }
    
    // 锁定缓冲区内存，避免被系统修改
    CVPixelBufferLockBaseAddress(depthPixelBuffer, .readOnly)
    CVPixelBufferLockBaseAddress(outputBuffer, [.readWrite])
    
    defer {
        CVPixelBufferUnlockBaseAddress(depthPixelBuffer, .readOnly)
        CVPixelBufferUnlockBaseAddress(outputBuffer, [.readWrite])
    }
    
    // 获取像素数据指针和行字节数
    guard let depthBaseAddr = CVPixelBufferGetBaseAddress(depthPixelBuffer),
          let outputBaseAddr = CVPixelBufferGetBaseAddress(outputBuffer) else { return nil }
    
    let depthBytesPerRow = CVPixelBufferGetBytesPerRow(depthPixelBuffer)
    let outputBytesPerRow = CVPixelBufferGetBytesPerRow(outputBuffer)
    
    // 遍历每个像素，将深度值归一化到0-255并转成BGRA格式
    for y in 0..<height {
        let depthRow = depthBaseAddr.advanced(by: y * depthBytesPerRow).assumingMemoryBound(to: Float32.self)
        let outputRow = outputBaseAddr.advanced(by: y * outputBytesPerRow).assumingMemoryBound(to: UInt8.self)
        
        for x in 0..<width {
            let depthValue = depthRow[x]
            // 利用深度数据的最小/最大值做归一化，避免异常值影响
            let normalizedValue = max(0, min(1, (depthValue - convertedDepthData.minimumDepth) / (convertedDepthData.maximumDepth - convertedDepthData.minimumDepth)))
            let grayValue = UInt8(normalizedValue * 255)
            
            // BGRA顺序：蓝、绿、红、alpha
            outputRow[x*4] = grayValue
            outputRow[x*4 + 1] = grayValue
            outputRow[x*4 + 2] = grayValue
            outputRow[x*4 + 3] = 255 // 完全不透明
        }
    }
    
    return outputBuffer
}

关键说明： #

• 优先转换为kCVPixelFormatType_DepthFloat32格式，这是最通用的深度数据格式，便于跨设备处理。
• 用深度数据自带的minimumDepth和maximumDepth做归一化，能保证不同场景下的深度映射效果一致。
• 如果需要纯RGBA格式，只需调整输出像素的顺序（把红、绿、蓝的位置调换即可），但BGRA在iOS硬件上的渲染效率更高。

iPhone 7 Plus的深度数据分辨率（640x480）远低于色彩图像的分辨率（比如4032x3024），而且两个摄像头存在物理偏移，直接缩放会导致位置不对。我们需要利用相机校准数据做几何对齐，再缩放至色彩图像尺寸。

下面是对齐和缩放的代码：

import CoreImage

func alignDepthDataToColorImage(depthPixelBuffer: CVPixelBuffer, colorPixelBuffer: CVPixelBuffer, calibrationData: AVCameraCalibrationData?) -> CVPixelBuffer? {
    // 用GPU加速的CoreImage上下文，提升处理速度
    let ciContext = CIContext(options: [.useSoftwareRenderer: false])
    
    var depthImage = CIImage(cvPixelBuffer: depthPixelBuffer)
    let colorSize = CGSize(width: CVPixelBufferGetWidth(colorPixelBuffer), height: CVPixelBufferGetHeight(colorPixelBuffer))
    
    // 利用校准数据做几何对齐，修正摄像头偏移和畸变
    if let calibrationData = calibrationData {
        let depthToColorTransform = calibrationData.depthToColorTransform
        depthImage = depthImage.transformed(by: depthToColorTransform)
    }
    
    // 用Lanczos算法缩放深度图像，保证缩放后的细节损失最小
    let scaleFilter = CILanczosScaleTransform()
    scaleFilter.inputImage = depthImage
    scaleFilter.scale = Float(colorSize.width / depthImage.extent.width)
    scaleFilter.aspectRatio = Float(colorSize.height / depthImage.extent.height)
    
    guard let scaledDepthImage = scaleFilter.outputImage else { return nil }
    
    // 将处理后的CIImage转换回CVPixelBuffer
    var outputPixelBuffer: CVPixelBuffer?
    let status = CVPixelBufferCreate(nil, Int(colorSize.width), Int(colorSize.height), kCVPixelFormatType_32BGRA, nil, &outputPixelBuffer)
    guard status == kCVReturnSuccess, let outputBuffer = outputPixelBuffer else { return nil }
    
    ciContext.render(scaledDepthImage, to: outputBuffer)
    return outputBuffer
}

关键说明： #

• 必须使用AVDepthData自带的cameraCalibrationData，它包含了深度摄像头与色彩摄像头之间的精确变换矩阵，能让深度数据和色彩图像的像素一一对应。
• 选择CILanczosScaleTransform滤镜而非普通缩放，是因为它的抗锯齿效果最好，适合深度数据这种需要精度的场景。
• 实时处理时，要注意时间戳对齐：确保拿到的色彩图像和深度数据是同一时刻捕获的，避免画面错位。

在AVCapture的回调中结合两个函数，就能得到和色彩图像尺寸一致的RGBA深度数据：

// 假设你已经通过AVCaptureVideoDataOutput和AVCaptureDepthDataOutput获取到对应的数据
func processCapturedData(colorPixelBuffer: CVPixelBuffer, depthData: AVDepthData) {
    // 第一步：将深度数据转成RGBA格式
    guard let rgbaDepthBuffer = convertDepthDataToRGBA(depthData) else {
        print("Failed to convert depth data to RGBA")
        return
    }
    
    // 第二步：对齐到色彩图像尺寸
    guard let alignedDepthBuffer = alignDepthDataToColorImage(
        depthPixelBuffer: rgbaDepthBuffer,
        colorPixelBuffer: colorPixelBuffer,
        calibrationData: depthData.cameraCalibrationData
    ) else {
        print("Failed to align depth data to color image")
        return
    }
    
    // 现在alignedDepthBuffer就是你需要的最终数据，可以用来显示、存储或进一步处理
    useAlignedDepthBuffer(alignedDepthBuffer)
}

func useAlignedDepthBuffer(_ buffer: CVPixelBuffer) {
    // 这里写你的后续逻辑，比如显示到ImageView，或者保存为图片
}

• 性能优化：如果是实时预览场景，建议用Metal替代CoreImage，Metal的处理速度更快，能避免卡顿。
• 无效深度像素：有些像素的深度值可能超出有效范围（比如过近或过远），可以在转换时判断depthValue是否在minimumDepth和maximumDepth之间，无效像素可以设置为透明或特定颜色。
• 设备兼容性：不同iPhone型号的深度数据格式可能不同，始终先转换为Float32格式再处理，保证跨设备兼容性。

内容的提问来源于stack exchange，提问作者Michael Archer