Web端双源录制场景下如何将两个音频轨道合并为单轨并整合至视频流
双音频轨道合并实现方案
核心实现原理
浏览器原生WebAPI不支持直接将两个独立的MediaStreamTrack做物理融合,无法实现单条轨道录制的目标。需要借助Web Audio API搭建混音管线,将两个音频源的信号做线性叠加,最终导出为单条可直接接入录制流的音频轨道。
注意:直接把两条音频轨道放入同一个
MediaStream不属于有效合并,MediaRecorder录制时会将两条轨道分别编码,最终输出的文件会包含两条独立音轨,无法满足整轨录制的需求。
具体代码调整
提前在组件中初始化全局复用的音频上下文实例,避免频繁创建触发浏览器自动播放限制:
// 组件初始化阶段创建 this.audioContext = new AudioContext(); // 首次用户交互(比如点击开始录制按钮)时激活上下文,避免处于挂起状态 this.audioContext.resume();
替换原有Promise.all回调中的轨道分离、组装逻辑:
Promise.all(this.promises) .then((streams) => { // 封装两个采集源的Stream实例 const camStream = new MediaStream(streams[0]); const screenStream = new MediaStream(streams[1]); // 提取两个源的音频轨道 const micAudioTrack = camStream.getAudioTracks()[0]; const screenAudioTrack = screenStream.getAudioTracks()[0]; // ---- 音频混音合并逻辑 ---- // 将两个音频轨道包装为Web Audio可处理的源节点 const micSource = this.audioContext.createMediaStreamSource( new MediaStream([micAudioTrack]) ); const screenSource = this.audioContext.createMediaStreamSource( new MediaStream([screenAudioTrack]) ); // 可选:为每个源单独设置音量,避免混音后音量过载出现爆音 const micVolume = this.audioContext.createGain(); micVolume.gain.value = 0.8; const screenVolume = this.audioContext.createGain(); screenVolume.gain.value = 0.8; micSource.connect(micVolume); screenSource.connect(screenVolume); // 连接所有源到统一的混音输出节点 const mixDestination = this.audioContext.createMediaStreamDestination(); micVolume.connect(mixDestination); screenVolume.connect(mixDestination); // 提取合并完成的单条音频轨道 const mergedAudioTrack = mixDestination.stream.getAudioTracks()[0]; // ---- 组装最终录制流 ---- // 提取摄像头采集的视频轨道 const camVideoTrack = camStream.getVideoTracks()[0]; // 将视频轨道与合并后的音频轨道组合为完整录制流 const wholeRecordStream = new MediaStream([camVideoTrack, mergedAudioTrack]); // 后续直接将wholeRecordStream传入MediaRecorder实例即可开始录制 })
常见踩坑提示
- 轨道空值兼容:需要提前判断两个采集源是否真的存在音频轨道,比如用户开启屏幕共享时没有勾选“共享系统音频”的场景,要做兜底判断,避免取到
undefined报错 - 资源释放逻辑:停止录制、页面卸载时,需要调用所有轨道的
stop()方法,断开所有音频节点的连接,避免出现麦克风指示灯常亮的内存泄漏问题 - 延迟问题:Web Audio混音会引入极小的处理延迟,对音画同步要求极高的场景,可以通过时间戳校准视频帧与音频的同步偏移量
内容的提问来源于stack exchange,提问作者Teodor Kostadinov
相关产品推荐
相关产品推荐

