如何在Swift中从本地视频文件提取帧以在播放前处理？

我来帮你把这段提取视频帧的代码补全并梳理清楚——用AVAssetReader做这件事的核心逻辑其实很清晰，下面是完整的可运行实现，还有一些关键细节要注意：

import AVFoundation
import CoreVideo

func extractFramesFromVideo(at inputURL: URL) throws -> [CVPixelBuffer] {
    let asset = AVAsset(url: inputURL)
    let reader = try AVAssetReader(asset: asset)
    
    // 获取视频轨道，先判断是否存在
    guard let videoTrack = asset.tracks(withMediaType: .video).first else {
        throw NSError(domain: "VideoExtractionError", code: 1, userInfo: [NSLocalizedDescriptionKey: "视频文件中未找到视频轨道"])
    }
    
    // 设置输出格式为BGRA，兼容大部分图像处理框架
    let outputSettings: [String: Any] = [
        String(kCVPixelBufferPixelFormatTypeKey): kCVPixelFormatType_32BGRA,
        String(kCVPixelBufferWidthKey): videoTrack.naturalSize.width,
        String(kCVPixelBufferHeightKey): videoTrack.naturalSize.height
    ]
    
    let trackReaderOutput = AVAssetReaderTrackOutput(track: videoTrack, outputSettings: outputSettings)
    // 关闭自动拷贝样本数据，提升读取性能
    trackReaderOutput.alwaysCopiesSampleData = false
    
    guard reader.canAdd(trackReaderOutput) else {
        throw NSError(domain: "VideoExtractionError", code: 2, userInfo: [NSLocalizedDescriptionKey: "无法将轨道输出添加到读取器"])
    }
    
    reader.add(trackReaderOutput)
    reader.startReading()
    
    var extractedFrames: [CVPixelBuffer] = []
    
    // 循环读取所有视频帧
    while reader.status == .reading {
        if let sampleBuffer = trackReaderOutput.copyNextSampleBuffer() {
            if let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) {
                // 手动保留像素缓冲区，避免被提前释放
                CVPixelBufferRetain(pixelBuffer)
                extractedFrames.append(pixelBuffer)
            }
            // 释放样本缓冲区资源
            CMSampleBufferInvalidate(sampleBuffer)
        }
    }
    
    // 检查读取是否出现错误
    if reader.status == .failed {
        throw reader.error ?? NSError(domain: "VideoExtractionError", code: 3, userInfo: [NSLocalizedDescriptionKey: "读取视频资源失败"])
    }
    
    return extractedFrames
}

// 使用示例
do {
    // 替换成你的本地视频文件路径
    let videoURL = URL(fileURLWithPath: "/Users/you/Desktop/test.mp4")
    let frames = try extractFramesFromVideo(at: videoURL)
    print("成功提取 \(frames.count) 帧")
    
    // 处理完帧后记得手动释放内存
    frames.forEach { CVPixelBufferRelease($0) }
} catch {
    print("提取帧出错：\(error.localizedDescription)")
}

关键细节说明 #

• 输出格式选择：用kCVPixelFormatType_32BGRA是因为它无压缩、兼容CoreImage/Metal等主流图像处理框架，能保证帧的原始质量。
• 性能优化：alwaysCopiesSampleData = false可以直接复用视频的原始缓冲区，避免不必要的内存拷贝，处理大视频时速度提升明显。
• 内存管理：CVPixelBuffer是Core Foundation对象，必须用CVPixelBufferRetain和CVPixelBufferRelease手动管理内存，否则会出现内存泄漏。
• 状态校验：循环结束后一定要检查reader.status，如果是.failed状态，要抛出错误方便排查问题（比如文件损坏、权限不足）。

额外注意事项 #

• 如果你只需要提取特定时间点的单帧/少量帧，用AVAssetImageGenerator会更简洁，不需要写这么多读取逻辑。
• 处理超长视频时，不要一次性把所有帧存进数组，建议边读取边处理（比如写入本地文件、实时做图像识别），避免内存溢出。
• iOS平台上要确保视频文件在沙盒可访问路径下，并且有读取权限。

内容的提问来源于stack exchange，提问作者SwiftProgrmer