Core Media基础：CMSampleBuffer与CMBlockBuffer内存模型问询

一、CMBlockBuffer到底是什么？为什么不能直接用连续二进制数组访问？ #

Core Media设计CMBlockBuffer的核心目的是避免不必要的内存拷贝，提升实时处理性能。

你看到的定义“表示跨非连续内存区域的连续数据偏移范围的CFType对象”，翻译成开发者能快速理解的大白话就是：

• 逻辑上，音频样本是按时间顺序排列的连续数据；
• 但物理内存里，这些数据可能分散在多个不连续的内存块中——比如硬件采集时，音频数据直接存入DMA缓冲区，或是系统为了复用内存碎片，把数据拆成多个小内存块存储；
• CMBlockBuffer就像一个“逻辑索引器”，把这些分散的内存块串起来，对外提供逻辑连续的访问视图，但不需要把数据实际拷贝成连续数组。

为什么不直接用连续数组？核心原因有两个：

1. 性能损耗：实时音频处理对延迟要求极高，如果每次采集都要把分散内存拷贝成连续数组，会额外增加CPU开销和处理延迟，严重影响实时性；
2. 内存效率：移动设备内存有限，分散的内存块能更好地利用碎片内存，避免为了分配大段连续内存导致内存不足或频繁内存回收。

举个实际场景：iOS音频采集硬件可能每10ms生成一个独立的小缓冲区，CMBlockBuffer会记录这些小缓冲区的地址和长度，你访问时逻辑上是连续的100ms数据，但物理上是10个小内存块，无需拷贝就能直接读取。

二、CMSampleBufferGetAudioBufferListWithRetainedBlockBuffer的作用和内存模型 #

核心作用 #

CMSampleBufferGetAudioBufferListWithRetainedBlockBuffer是Core Media提供的“转换桥”，它的核心作用是：
把CMSampleBuffer中封装的CMBlockBuffer数据，转换成AudioToolbox框架的AudioBufferList标准结构，同时自动管理内存生命周期，避免访问时内存被意外回收。

为什么需要这个转换？因为CMBlockBuffer是Core Media的通用数据容器，而AudioBufferList是音频处理的专用结构——它能统一处理单声道/多声道数据，每个AudioBuffer对应一个声道的采样数据，方便后续用AudioToolbox或AVFoundation的API做具体处理。

内存模型细节 #

调用这个方法时，背后的内存处理逻辑是：

1. 检查内存连续性：
   • 如果原CMBlockBuffer的数据是连续的，方法会直接让AudioBufferList里的mData指针指向原内存区域，无内存拷贝；
   • 如果原数据是非连续的，方法会自动分配一块连续临时内存，把分散的数据拷贝进去，再让mData指向这块临时内存；
2. 内存引用管理：方法会调用CFRetain保留对应的CMBlockBuffer（或临时分配的内存块），确保你使用AudioBufferList期间，内存不会被系统回收；
3. 资源释放：处理完音频数据后，必须手动调用CFRelease释放AudioBufferList和retainedBlockBuffer，否则会造成内存泄漏。

示例代码逻辑解析 #

假设你有这样的回调处理代码：

CMSampleBufferRef sampleBuffer = ...; // 从captureOutput回调获取
AudioBufferList *audioBufferList = NULL;
CMBlockBufferRef retainedBlockBuffer = NULL;

OSStatus status = CMSampleBufferGetAudioBufferListWithRetainedBlockBuffer(
    sampleBuffer,
    NULL,
    &audioBufferList,
    sizeof(AudioBufferList),
    NULL,
    NULL,
    kCMSampleBufferFlag_AudioBufferList_Assure16ByteAlignment,
    &retainedBlockBuffer
);

if (status == noErr) {
    // 遍历每个声道的AudioBuffer
    for (int i = 0; i < audioBufferList->mNumberBuffers; i++) {
        AudioBuffer buffer = audioBufferList->mBuffers[i];
        // 转换为PCM常用的int16_t类型指针
        int16_t *samples = (int16_t *)buffer.mData;
        NSInteger sampleCount = buffer.mDataByteSize / sizeof(int16_t);
        
        // 逐个处理采样点
        for (NSInteger j = 0; j < sampleCount; j++) {
            int16_t sample = samples[j];
            // 你的音频处理逻辑...
        }
    }
    
    // 必须释放资源，避免内存泄漏
    CFRelease(audioBufferList);
    CFRelease(retainedBlockBuffer);
}

这段代码的核心逻辑是：

• 通过方法获取适配音频处理的AudioBufferList和被保留的内存块；
• 遍历每个声道的AudioBuffer，转换数据类型后计算采样点数量；
• 逐个访问采样点完成处理；
• 最后释放被方法持有的内存资源。

内容的提问来源于stack exchange，提问作者Baffo rasta