iOS17视频会话中结合CMSampleBuffer与AVDepthData获取3D姿态点异常咨询

针对你遇到的「结合深度数据后3D姿态检测效果变差」的问题，可从深度数据对齐、配置细节、请求参数、同步逻辑四个维度排查修复，以下是具体步骤：

1. 确保深度数据与视频帧完全对齐 #

原始深度数据的坐标系、方向、分辨率可能与视频帧不匹配，必须先做格式转换和同步处理：

// 在获取videoData和depthData后添加以下代码
let videoFormatDesc = videoData.sampleBuffer.formatDescription
// 将深度数据转换为与视频帧一致的格式和方向
let alignedDepthData = depthData.depthData.converting(to: videoFormatDesc, videoOrientation: orientation)
// 同步视频的镜像状态到深度数据
let finalDepthData = isMirrored ? alignedDepthData.withMirroredContent() : alignedDepthData

之后用finalDepthData初始化VNImageRequestHandler。

2. 修正深度输出的核心配置 #

你的深度配置缺少关键的交付开关和方向同步，同时格式选择逻辑需优化：

if session.canAddOutput(depthDataOutput) {
    session.addOutput(depthDataOutput)
}

// 开启深度数据交付（必须设置）
depthDataOutput.isDepthDataDeliveryEnabled = true
depthDataOutput.isFilteringEnabled = false

if let depthConnection = depthDataOutput.connection(with: .depthData), 
   let videoConnection = videoOutput.connection(with: .video) {
    depthConnection.isEnabled = true
    // 同步深度连接的旋转角度与镜像状态和视频一致
    depthConnection.videoRotationAngle = videoConnection.videoRotationAngle
    depthConnection.isVideoMirrored = videoConnection.isVideoMirrored
}

// 选择与视频分辨率最匹配的深度格式，而非单纯选最大分辨率
let videoDimensions = CMVideoFormatDescriptionGetDimensions(videoDevice!.activeFormat.formatDescription)
let depthFormats = videoDevice!.activeFormat.supportedDepthDataFormats
let filtered = depthFormats.filter({
    CMFormatDescriptionGetMediaSubType($0.formatDescription) == kCVPixelFormatType_DepthFloat32
})
let selectedFormat = filtered.min(by: {
    let firstDim = CMVideoFormatDescriptionGetDimensions($0.formatDescription)
    let secondDim = CMVideoFormatDescriptionGetDimensions($1.formatDescription)
    let firstDiff = abs(firstDim.width - videoDimensions.width) + abs(firstDim.height - videoDimensions.height)
    let secondDiff = abs(secondDim.width - videoDimensions.width) + abs(secondDim.height - videoDimensions.height)
    return firstDiff < secondDiff
})

do {
    try videoDevice!.lockForConfiguration()
    videoDevice!.activeDepthDataFormat = selectedFormat
    videoDevice!.unlockForConfiguration()
} catch {
    print("配置深度格式失败: \(error)")
}

// 同步器使用全局串行队列，避免主队列阻塞导致数据延迟
let syncQueue = DispatchQueue(label: "com.yourapp.capture.sync", qos: .userInitiated)
synchronizer = AVCaptureDataOutputSynchronizer(dataOutputs: [videoOutput, depthDataOutput])
synchronizer?.setDelegate(self, queue: syncQueue)

3. 完善请求配置与错误排查 #

启用请求的深度数据依赖，并捕获详细错误信息定位问题：

DispatchQueue.global(qos: .userInitiated).async {
    do {
        // 使用最新版本的请求，确保深度数据优化逻辑生效
        let request = VNDetectHumanBodyPose3DRequest(revision: VNDetectHumanBodyPose3DRequestRevision1)
        // 明确要求使用深度数据辅助检测
        request.requiresDepthData = true
        
        let requestHandler = VNImageRequestHandler(cmSampleBuffer: videoData.sampleBuffer, 
                                                   depthData: finalDepthData, 
                                                   orientation: orientation)
        try requestHandler.perform([request])
        
        if let observation = request.results?.first {
            // 处理3D关键点数据
        }
    } catch {
        print("姿态检测失败: \(error.localizedDescription)")
        // 打印Vision框架的详细错误码和信息
        if let vnError = error as? VNError {
            print("VN错误码: \(vnError.code), 详情: \(vnError.userInfo)")
        }
    }
}

4. 验证同步数据的时间戳一致性 #

添加时间戳校验，避免因数据不同步导致的检测异常：

let videoTimestamp = CMSampleBufferGetPresentationTimeStamp(videoData.sampleBuffer)
let depthTimestamp = depthData.depthData.timestamp
let timeDiff = CMTimeGetSeconds(CMTimeSubtract(videoTimestamp, depthTimestamp))
// 超过10ms视为不同步，跳过当前帧
if abs(timeDiff) > 0.01 {
    print("视频与深度数据时间戳差异过大: \(timeDiff)s")
    return
}

核心问题总结 #

你之前的代码主要缺失了深度数据与视频帧的对齐处理、深度输出的方向同步，同时格式选择逻辑和同步队列的设置也存在优化空间，这些都会导致深度数据无法被Vision框架正确利用，反而干扰检测结果。

内容的提问来源于stack exchange，提问作者iOSFresher