如何将AVPlayer音频导入SCNAudioPlayer实现SceneKit positional audio

我之前也遇到过类似的需求，要给SceneKit里的视频材质节点加上空间音频效果——毕竟默认AVPlayer的音频是全局播放的，完全没有空间感。下面给你两种可行的方案，从简单易实现的到更高效的实时处理方案都有：

方案一：提取音频到临时文件（最稳妥易实现） #

这种方法思路很直接：把视频里的音频单独提取出来保存成临时文件，再用SceneKit自带的SCNAudioSource和SCNAudioPlayer来实现空间音频，同时保持视频画面的播放同步。

步骤1：提取视频中的音频 #

先写一个工具函数，把视频的音频轨道导出成临时的m4a文件：

import AVFoundation
import SceneKit

func extractAudioFromVideo(asset: AVAsset, completion: @escaping (URL?) -> Void) {
    // 创建临时文件路径
    let tempDir = FileManager.default.temporaryDirectory
    let outputAudioURL = tempDir.appendingPathComponent("video_temp_audio.m4a")
    
    // 清理已存在的临时文件
    try? FileManager.default.removeItem(at: outputAudioURL)
    
    // 配置导出会话，只导出音频
    guard let exportSession = AVAssetExportSession(asset: asset, presetName: AVAssetExportPresetAppleM4A) else {
        completion(nil)
        return
    }
    
    exportSession.outputURL = outputAudioURL
    exportSession.outputFileType = .m4a
    exportSession.shouldOptimizeForNetworkUse = true
    
    // 只保留音频轨道的合成
    let audioComposition = AVMutableComposition()
    guard let audioTrack = asset.tracks(withMediaType: .audio).first else {
        completion(nil)
        return
    }
    let compositionAudioTrack = audioComposition.addMutableTrack(withMediaType: .audio, preferredTrackID: kCMPersistentTrackID_Invalid)
    do {
        try compositionAudioTrack?.insertTimeRange(audioTrack.timeRange, of: audioTrack, at: .zero)
    } catch {
        completion(nil)
        return
    }
    exportSession.asset = audioComposition
    
    // 执行导出
    exportSession.exportAsynchronously {
        switch exportSession.status {
        case .completed:
            completion(outputAudioURL)
        default:
            print("音频导出失败：\(exportSession.error?.localizedDescription ?? "未知错误")")
            completion(nil)
        }
    }
}

步骤2：配置空间音频并关联到节点 #

拿到提取后的音频文件后，就可以创建SceneKit的空间音频源，绑定到你的视频节点上，同时启动视频播放：

// 假设你的视频URL和目标SCNNode已经定义好
let videoURL = URL(fileURLWithPath: "你的视频路径")
let videoNode = SCNNode(geometry: SCNPlane(width: 2, height: 1.5))

// 先配置音频会话，确保支持播放
do {
    let audioSession = AVAudioSession.sharedInstance()
    try audioSession.setCategory(.playback, mode: .default, options: .mixWithOthers)
    try audioSession.setActive(true)
} catch {
    print("音频会话配置失败：\(error.localizedDescription)")
}

// 提取音频并设置空间音频
let videoAsset = AVAsset(url: videoURL)
extractAudioFromVideo(asset: videoAsset) { audioURL in
    guard let audioURL = audioURL else { return }
    
    // 创建空间音频源
    let positionalAudioSource = SCNAudioSource(url: audioURL)!
    positionalAudioSource.isPositional = true // 开启空间音频
    positionalAudioSource.volume = 1.0
    positionalAudioSource.rolloffFactor = 1.2 // 音量随距离衰减的系数，越大衰减越快
    positionalAudioSource.maximumDistance = 15.0 // 超过这个距离就听不到声音
    
    // 创建音频播放器并添加到节点
    let audioPlayer = SCNAudioPlayer(source: positionalAudioSource)
    videoNode.addAudioPlayer(audioPlayer)
    
    // 启动视频播放（你的原有逻辑）
    let videoPlayer = AVPlayer(url: videoURL)
    let videoMaterial = SCNMaterial()
    videoMaterial.diffuse.contents = videoPlayer
    videoNode.geometry?.materials = [videoMaterial]
    videoPlayer.play()
}

方案二：实时读取音频轨道（无需临时文件） #

如果不想生成临时文件，也可以直接从视频的AVAsset中实时读取音频数据，用AVAudioEngine处理后关联到SceneKit节点。不过这种方法需要手动处理音频数据的流转，复杂度稍高：

func setupRealTimePositionalAudio(for player: AVPlayer, node: SCNNode) {
    guard let playerItem = player.currentItem, 
          let audioTrack = playerItem.asset.tracks(withMediaType: .audio).first else { return }
    
    let audioEngine = AVAudioEngine()
    let playerNode = AVAudioPlayerNode()
    audioEngine.attach(playerNode)
    
    // 匹配音频格式并连接引擎节点
    let trackFormat = audioTrack.format
    audioEngine.connect(playerNode, to: audioEngine.mainMixerNode, format: trackFormat)
    
    // 读取音频轨道数据
    do {
        let assetReader = try AVAssetReader(asset: playerItem.asset)
        let readerOutput = AVAssetReaderTrackOutput(track: audioTrack, outputSettings: [
            AVFormatIDKey: kAudioFormatLinearPCM,
            AVLinearPCMBitDepthKey: 16,
            AVLinearPCMIsFloatKey: false,
            AVLinearPCMIsBigEndianKey: false
        ])
        assetReader.add(readerOutput)
        assetReader.startReading()
        
        // 异步读取音频数据并喂给播放器节点
        DispatchQueue.global().async {
            while assetReader.status == .reading {
                if let sampleBuffer = readerOutput.copyNextSampleBuffer() {
                    if let audioBuffer = AVAudioPCMBuffer(pcmFormat: trackFormat, sampleBuffer: sampleBuffer) {
                        playerNode.scheduleBuffer(audioBuffer)
                    }
                    CMSampleBufferInvalidate(sampleBuffer)
                }
            }
            
            if assetReader.status == .completed {
                playerNode.play()
            }
        }
        
        try audioEngine.start()
        playerNode.play()
    } catch {
        print("实时音频处理失败：\(error.localizedDescription)")
    }
    
    // 这里需要将AVAudioPlayerNode包装成SCNAudioPlayer（iOS 11+支持）
    let scnAudioPlayer = SCNAudioPlayer(avAudioPlayer: AVAudioPlayer()) // 这里需要替换成实际的AVAudioPlayer实例，或者直接用SCNAudioSource关联引擎输出
    // 注：这种方法需要额外处理空间化，推荐还是用方案一的SCNAudioSource，它已经封装了空间音频的逻辑
    node.addAudioPlayer(scnAudioPlayer)
}

注意事项 #

• 空间音频效果需要在支持的设备上测试（比如iPhone 7及以上、iPad Pro系列），同时确保设备的音频设置开启了立体声/空间音频。
• 可以调整SCNAudioSource的rolloffFactor、maximumDistance等参数，优化空间音频的衰减效果。
• 两种方案都能保证视频画面和音频的同步，因为音频是直接从原视频提取的。

内容的提问来源于stack exchange，提问作者Geoff H