You need to enable JavaScript to run this app. Web端双源录制场景下如何将两个音频轨道合并为单轨并整合至视频流
优惠活动
大模型
产品
解决方案
定价
更多

Web端双源录制场景下如何将两个音频轨道合并为单轨并整合至视频流

双音频轨道合并实现方案

核心实现原理

浏览器原生WebAPI不支持直接将两个独立的MediaStreamTrack做物理融合,无法实现单条轨道录制的目标。需要借助Web Audio API搭建混音管线,将两个音频源的信号做线性叠加,最终导出为单条可直接接入录制流的音频轨道。

注意:直接把两条音频轨道放入同一个MediaStream不属于有效合并,MediaRecorder录制时会将两条轨道分别编码,最终输出的文件会包含两条独立音轨,无法满足整轨录制的需求。

具体代码调整

提前在组件中初始化全局复用的音频上下文实例,避免频繁创建触发浏览器自动播放限制:

// 组件初始化阶段创建
this.audioContext = new AudioContext();
// 首次用户交互(比如点击开始录制按钮)时激活上下文,避免处于挂起状态
this.audioContext.resume();

替换原有Promise.all回调中的轨道分离、组装逻辑:

Promise.all(this.promises)
  .then((streams) => {
    // 封装两个采集源的Stream实例
    const camStream = new MediaStream(streams[0]);
    const screenStream = new MediaStream(streams[1]);

    // 提取两个源的音频轨道
    const micAudioTrack = camStream.getAudioTracks()[0];
    const screenAudioTrack = screenStream.getAudioTracks()[0];

    // ---- 音频混音合并逻辑 ----
    // 将两个音频轨道包装为Web Audio可处理的源节点
    const micSource = this.audioContext.createMediaStreamSource(
      new MediaStream([micAudioTrack])
    );
    const screenSource = this.audioContext.createMediaStreamSource(
      new MediaStream([screenAudioTrack])
    );

    // 可选:为每个源单独设置音量,避免混音后音量过载出现爆音
    const micVolume = this.audioContext.createGain();
    micVolume.gain.value = 0.8;
    const screenVolume = this.audioContext.createGain();
    screenVolume.gain.value = 0.8;
    micSource.connect(micVolume);
    screenSource.connect(screenVolume);

    // 连接所有源到统一的混音输出节点
    const mixDestination = this.audioContext.createMediaStreamDestination();
    micVolume.connect(mixDestination);
    screenVolume.connect(mixDestination);

    // 提取合并完成的单条音频轨道
    const mergedAudioTrack = mixDestination.stream.getAudioTracks()[0];

    // ---- 组装最终录制流 ----
    // 提取摄像头采集的视频轨道
    const camVideoTrack = camStream.getVideoTracks()[0];
    // 将视频轨道与合并后的音频轨道组合为完整录制流
    const wholeRecordStream = new MediaStream([camVideoTrack, mergedAudioTrack]);

    // 后续直接将wholeRecordStream传入MediaRecorder实例即可开始录制
  })

常见踩坑提示

  • 轨道空值兼容:需要提前判断两个采集源是否真的存在音频轨道,比如用户开启屏幕共享时没有勾选“共享系统音频”的场景,要做兜底判断,避免取到undefined报错
  • 资源释放逻辑:停止录制、页面卸载时,需要调用所有轨道的stop()方法,断开所有音频节点的连接,避免出现麦克风指示灯常亮的内存泄漏问题
  • 延迟问题:Web Audio混音会引入极小的处理延迟,对音画同步要求极高的场景,可以通过时间戳校准视频帧与音频的同步偏移量

内容的提问来源于stack exchange,提问作者Teodor Kostadinov

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.19 15:36:04