基于AVCaptureSession实现捕获视频延迟回放的技术方案咨询

1. 环形缓冲区（RingBuffer）的设想是否合理？ #

这个思路完全合理。环形缓冲区的核心特性就是自动淘汰最旧数据、保留最新指定数量/时长的数据，刚好匹配你需要持续缓存最近30秒音视频的需求。不过要注意：

• 视频和音频需要分别维护独立的环形缓冲区，因为两者的帧率/采样率不同（视频30fps、音频通常44.1kHz/48kHz），时间戳基准也独立，混存会导致同步问题。
• 缓冲区容量的计算要结合实际采集参数：比如如果视频实际采集帧率是60fps，30秒就需要1800个CMSampleBuffer，建议根据AVCaptureSession的实际配置动态计算容量，而非固定900。

2. 是否应使用AVCaptureVideoDataOutput存入缓冲区，回放时播放/推送缓冲区内容？ #

是的，这是正确的实现路径：

• 视频方面，通过AVCaptureVideoDataOutput的captureOutput:didOutputSampleBuffer:fromConnection:回调获取原始视频帧的CMSampleBuffer；音频则用AVCaptureAudioDataOutput对应的回调获取音频数据。
• 将音视频的CMSampleBuffer分别存入各自的环形缓冲区时，必须注意线程安全：采集回调运行在你指定的串行/并发队列，而回放操作可能在主线程或另一个队列，需要用锁（如os_unfair_lock）或串行队列来同步缓冲区的读写操作。
• 点击回放时，需要从两个缓冲区中按时间戳同步取出数据，再按照RTMP协议重新封装推送（或本地播放）。这里要严格匹配音视频的CMTime时间戳，避免出现音画不同步的问题。

3. AVFoundation/CoreMedia/CoreVideo是否有现成的CMSampleBuffer环形缓冲区？ #

没有。Apple的这些框架仅提供了音视频采集、处理的基础API和数据结构（如CMSampleBuffer），并未内置针对CMSampleBuffer的环形缓冲区实现。你需要自己实现一个轻量的环形缓冲区，或者使用第三方轻量库（注意依赖管理）。

自己实现的核心逻辑很简单：

• 用数组作为底层存储，维护head（写入位置）和tail（读取位置）指针
• 写入时，若缓冲区已满，覆盖tail位置的旧数据并移动tail
• 读取时从tail开始按顺序读取，直到head位置
• 全程保证线程安全，避免读写冲突

4. 存储900个CMSampleBuffer的内存占用及安全性 #

内存占用取决于CMSampleBuffer的实际数据大小，核心注意点如下：

内存计算 #

• 视频帧：以1080p 30fps的YUV420格式为例，单帧未压缩大小约为1920×1080×1.5 = 3.1MB，900帧就是约2.6GB；如果是720p，单帧约1.1MB，900帧约990MB。
• 音频帧：以44.1kHz单声道16位采样为例，单帧（通常1024样本）约2KB，30秒仅需约2.5MB，几乎可以忽略。

安全性注意事项 #

• 不要直接持有采集回调的CMSampleBuffer引用：AVCapture输出的CMSampleBuffer通常是硬件缓冲区的引用，系统可能会复用这些缓冲区，导致旧数据被覆盖。必须使用CMSampleBufferCreateCopy创建完整拷贝后再存入缓冲区，确保数据不会丢失。
• 内存压力风险：未压缩的1080p 30秒视频缓存会占用2.6GB左右内存，在内存较小的旧设备（如iPhone 8及更早机型）上可能触发内存警告，甚至导致崩溃。建议：
  • 降低缓存时长（如临时改为15秒）或分辨率（如720p）来减少内存占用
  • 用VideoToolbox将未压缩视频帧压缩为H.264编码帧后再缓存，单帧大小可降至几十KB，30秒仅需几十MB，但会增加CPU开销
  • 监听系统内存警告，收到警告时主动清空部分旧数据或缩小缓冲区容量

内容的提问来源于stack exchange，提问作者Marcin Kapusta