如何让AVAudio.installTap()每秒回调125次？低延迟音频处理需求

问题背景 #

需要开发一款麦克风输入→实时音频处理→即时播放的语音处理应用，要求极低延迟，目标是每8ms获取一次播放缓冲区。当前基于AVAudioEngine的实现回调间隔约100ms，调整buffer.frameLength等参数后无改善，不确定是框架限制还是配置遗漏，同时询问AudioKit或Core Audio C API的可行方案。

当前实现代码 #

var audioEngine: AVAudioEngine
var inputNode: AVAudioInputNode
var playerNode: AVAudioPlayerNode
var bufferDuration: AVAudioFrameCount

init() {
    audioEngine = AVAudioEngine()
    inputNode = audioEngine.inputNode
    playerNode = AVAudioPlayerNode()
    bufferDuration = 960// AVAudioFrameCount(352)
}

func startStreaming() -> Void {
    // Configure the session
    do {
        let audioSession = AVAudioSession.sharedInstance()
        try audioSession.setCategory(.playAndRecord, mode: .voiceChat, options: [.defaultToSpeaker])
        try audioSession.setPreferredSampleRate(96000)
        try audioSession.setPreferredIOBufferDuration(0.008)
        try audioSession.setActive(true)
        try audioSession.overrideOutputAudioPort(.speaker)
    } catch {
        print("Audio Session error: \(error)")
    }
  
let fmt = AVAudioFormat(commonFormat: .pcmFormatFloat32, sampleRate: AVAudioSession.sharedInstance().sampleRate, channels: 2, interleaved: false)
    
 // Set the playerNode to immediately queue/play the recorded buffer
inputNode.installTap(onBus: 0, bufferSize: bufferDuration, format: fmt) { (buffer: AVAudioPCMBuffer, when: AVAudioTime) in
    // Schedule the buffer for playback
    playerNode.scheduleBuffer(buffer, at: nil, options: [], completionHandler: nil)
}
    
// Start the engine
do {
    audioEngine.attach(playerNode)
    audioEngine.connect(playerNode, to: audioEngine.outputNode, format: fmt/*inputNode.inputFormat(forBus: 0)*/)
        
    try audioEngine.start()
    playerNode.play()
} catch {
    print("Audio Engine start error: \(error)")
}

解决方案 #

一、AVAudioEngine的优化调整 #

先排查配置中的关键问题，尝试通过参数修正达到低延迟目标：

1. 匹配采样率与缓冲区帧数
   目标8ms缓冲区，对应96kHz采样率的帧数为 96000 * 0.008 = 768，你当前设置的bufferDuration = 960不匹配，需修正为768。

2. 验证系统实际生效的缓冲区时长
   setPreferredIOBufferDuration是请求而非强制，需检查系统实际分配的时长：

   let actualDuration = AVAudioSession.sharedInstance().ioBufferDuration
   print("实际IO缓冲区时长: \(actualDuration)秒")
   

   如果实际时长远大于0.008，可能是设备硬件限制或其他音频进程占用资源。

3. 简化节点连接路径
   你当前使用AVAudioPlayerNode调度播放，增加了额外的缓冲环节。可以直接将输入节点连接到输出节点，在tap回调中处理音频后直接输出：

   • 移除playerNode相关代码
   • 直接连接inputNode到audioEngine.outputNode
   • tap回调中处理音频，处理后的缓冲区会自动流向输出

4. 统一音频格式
   避免强制设置2声道，改用输入节点的原生格式减少转换延迟：

   guard let inputFormat = inputNode.inputFormat(forBus: 0) else { return }
   inputNode.installTap(onBus: 0, bufferSize: bufferDuration, format: inputFormat) { buffer, time in
       // 音频处理逻辑
   }
   audioEngine.connect(inputNode, to: audioEngine.outputNode, format: inputFormat)
   

5. 优化音频会话配置
   尝试改用.measurement模式，该模式专为低延迟测量场景设计：

   try audioSession.setCategory(.playAndRecord, mode: .measurement, options: [.allowBluetooth])
   

二、AudioKit方案 #

AudioKit基于Core Audio封装，原生支持低延迟配置，开发效率更高：

• 设置全局IO缓冲区时长和采样率
• 直接使用AKMicrophone作为输入，连接到输出节点，中间插入自定义处理逻辑

示例代码：

import AudioKit

let engine = AKAudioEngine()
let mic = AKMicrophone()
// 自定义处理节点示例，替换为你的语音处理逻辑
let processor = AKBooster(mic)

engine.output = processor

do {
    AKSettings.ioBufferDuration = 0.008
    AKSettings.sampleRate = 96000
    try engine.start()
} catch {
    print("AudioKit启动错误: \(error)")
}

三、Core Audio C API方案（极致低延迟） #

如果前两种方案无法满足需求，直接使用Core Audio的RemoteIO Audio Unit，这是iOS上延迟最低的音频路径：

核心步骤：

1. 创建RemoteIO Audio Unit实例
2. 配置输入输出格式为PCM浮点32位、96kHz采样率
3. 设置kAudioUnitProperty_MaximumFramesPerSlice为768帧（对应8ms）
4. 实现AURenderCallback回调，在回调中直接处理输入缓冲区并填充输出数据
5. 启动Audio Unit

这种方案需要处理底层内存管理、格式适配等细节，但能获得最接近硬件的延迟（通常几毫秒级别）。

内容的提问来源于stack exchange，提问作者Andrew N