如何为AVAsset转换后的CMSampleBuffer添加时间戳以实现轨迹识别

问题分析 #

你通过AVAssetReader提取视频帧的CMSampleBuffer用于轨迹识别时，VNDetectTrajectoriesRequest依赖准确的时间戳来追踪目标轨迹。实际上AVAssetReaderTrackOutput输出的CMSampleBuffer本身已经携带原始视频的时间戳，但你的代码存在循环逻辑错误，导致帧处理异常，同时没有确保时间戳被正确传递给Vision框架。

修正后的完整代码 #

import AVFoundation
import Vision

guard let path = Bundle.main.path(forResource: "IMG_9900", ofType: "MOV") else {
    fatalError("未找到目标视频文件")
}

let url = URL(fileURLWithPath: path)
let asset = AVAsset(url: url)
guard let reader = try? AVAssetReader(asset: asset) else {
    fatalError("无法初始化AVAssetReader")
}

guard let videoTrack = asset.tracks(withMediaType: .video).first else {
    fatalError("视频文件中未找到视频轨道")
}

// 保持输出设置为nil，获取带完整时间戳的原始格式CMSampleBuffer
let trackOutput = AVAssetReaderTrackOutput(track: videoTrack, outputSettings: nil)
trackOutput.alwaysCopiesSampleData = false // 减少不必要的内存复制，优化性能
reader.add(trackOutput)

reader.startReading()

// 正确遍历每一个CMSampleBuffer
while let sampleBuffer = trackOutput.copyNextSampleBuffer() {
    // 可选：调试时验证时间戳
    let presentationTime = CMSampleBufferGetPresentationTimeStamp(sampleBuffer)
    print("当前帧时间戳：\(CMTimeGetSeconds(presentationTime))秒")
    
    do {
        // 使用带时间戳的CMSampleBuffer初始化请求处理器
        let requestHandler = VNImageRequestHandler(cmSampleBuffer: sampleBuffer, orientation: .up)
        
        // 配置轨迹识别请求
        let trajectoryRequest = VNDetectTrajectoriesRequest { request, error in
            if let error = error {
                print("轨迹识别出错：\(error.localizedDescription)")
                return
            }
            
            // 处理识别结果
            guard let results = request.results as? [VNDetectedObjectObservation] else { return }
            for result in results {
                print("检测到轨迹：\(result.boundingBox)，时间范围：\(result.timeRange)")
            }
        }
        
        // 可根据需求调整轨迹识别参数
        trajectoryRequest.trajectoryLength = 15
        trajectoryRequest.minimumBoundingBoxSize = CGSize(width: 0.05, height: 0.05)
        
        try requestHandler.perform([trajectoryRequest])
    } catch {
        print("请求执行失败：\(error.localizedDescription)")
    }
    
    // 手动释放SampleBuffer，避免内存泄漏
    CMSampleBufferInvalidate(sampleBuffer)
}

// 读取完成后清理资源
reader.cancelReading()

核心要点说明 #

• 时间戳无需手动添加：AVAssetReaderTrackOutput输出的CMSampleBuffer自带视频原始的presentationTimeStamp，VNImageRequestHandler会自动读取该时间戳用于轨迹追踪，无需额外手动设置。
• 修复循环逻辑：直接在while条件中获取sampleBuffer，避免空值强制解包的崩溃，同时确保每一个视频帧都被处理。
• 性能优化：设置alwaysCopiesSampleData = false，减少内存复制开销，提升视频帧处理速度。
• 轨迹参数调整：通过trajectoryLength（追踪的历史帧数量）、minimumBoundingBoxSize（最小检测目标尺寸）等参数，可以根据实际场景优化轨迹识别效果。

内容的提问来源于stack exchange，提问作者Hoerbarium