如何通过TritonSDK的AudioQueueRef或AVAudioEngine实现AudioKit的FFTView音频可视化？

我想把AudioKit的FFTView集成到应用里实现音频可视化，但播放的音频来自2014年的TritonSDK（电台流播放），完全无法控制音频流程，所有操作都由这个SDK处理。SDK暴露了AudioQueueRef属性，但根据Apple文档，没创建这个队列就没法订阅它的音频数据。我尝试用AVAudioEngine捕获已播放的音频，结果可视化组件返回的全是0的Float数组。想知道哪里操作错了，或者这个需求是否可行？

代码实现：

import AudioKit
import AVFAudio

final class AudioCapture: ObservableObject {
    @Published private(set) var node: Node

    private let engine = AVAudioEngine()

    init() {
        self.node = NodeWrapper(avAudioNode: engine.mainMixerNode)
    }

    func start() {
        do {
            try engine.start()
        } catch {
            print("Error starting AVAudioEngine: \(error.localizedDescription)")
        }
        if node.avAudioNode != engine.mainMixerNode {
            node = NodeWrapper(avAudioNode: engine.mainMixerNode)
        }
    }

    func stop() {
        engine.stop()
    }
}

// MARK: - Utility

private final class NodeWrapper: Node {
    var connections: [Node] = []
    let avAudioNode: AVAudioNode

    init(avAudioNode: AVAudioNode) {
        self.avAudioNode = avAudioNode
    }
}

import SwiftUI
import AudioKitUI

struct RadioView: View {
    @ObservedObject var viewModel: RadioViewModel
    @Environment(\.safeAreaInsets) private var safeAreaInsets: EdgeInsets

    var body: some View {
        FFTView(viewModel.audioCapture.node)
    }
}

1. 当前代码的核心问题 #

你用AVAudioEngine.mainMixerNode作为捕获源完全无效——TritonSDK的音频流根本没经过你创建的AVAudioEngine实例，这个引擎是独立于SDK播放流程的，所以它的主混音节点接收不到任何音频数据，返回全0数组是必然结果。

2. 可行性判断：需求可行，需更换方案 #

因为无法控制TritonSDK的音频流程，也不能直接订阅它的AudioQueueRef，可以尝试以下两种方案：

方案一：系统音频环回捕获 #

利用AVFoundation的音频录制功能，设置输入为系统音频环回，捕获设备正在播放的所有音频（包括TritonSDK的电台流）。

实现步骤：

• 配置AVAudioSession为.playAndRecord类别，开启相关选项确保兼容SDK播放；
• 将AVAudioEngine的输入节点连接到混音节点，再把该节点传给FFTView。

示例代码片段：

func setupLoopbackCapture() {
    let session = AVAudioSession.sharedInstance()
    do {
        // 配置音频会话，确保和TritonSDK兼容
        try session.setCategory(.playAndRecord, mode: .default, options: [.allowBluetooth, .defaultToSpeaker, .mixWithOthers])
        try session.setActive(true)
        
        let inputNode = engine.inputNode
        let inputFormat = inputNode.inputFormat(forBus: 0)
        
        // 创建混音节点作为捕获源
        let captureMixer = AVAudioMixerNode()
        engine.attach(captureMixer)
        engine.connect(inputNode, to: captureMixer, format: inputFormat)
        
        self.node = NodeWrapper(avAudioNode: captureMixer)
        try engine.start()
    } catch {
        print("环回捕获配置失败：\(error)")
    }
}

方案二：AudioKit全局引擎适配 #

使用AudioKit的全局AudioKit.engine实例，配置音频会话为.mixWithOthers，确保和TritonSDK的音频播放不冲突，然后通过给引擎节点添加Tap的方式获取音频数据，供FFTView使用。

3. 关键注意事项 #

• 音频会话兼容：必须确保你的应用音频会话配置和TritonSDK的配置不冲突，否则会出现音频中断或捕获失败；
• 权限配置：需要在Info.plist中添加NSMicrophoneUsageDescription字段，因为环回捕获会申请麦克风权限；
• 版本适配：不同iOS版本的音频环回API有差异，比如iOS 14+可以直接指定环回设备，需要做版本判断处理。

内容的提问来源于stack exchange，提问作者Alexandru Motoc