如何在Node.js中实现WebRTC音频的混音与滤波处理？

我之前用mediasoup开发了WebRTC浏览器客户端，现在要改成Node.js客户端。需求是接收多个WebRTC音频源，混音成单轨后添加滤波（比如biquad滤波器），再通过WebRTC发送出去。浏览器里我用Web Audio API实现了，代码如下：

this.audioContext = new AudioContext();
this.outgoingStream = this.audioContext.createMediaStreamDestination();
this.addSoundFilter();
this.mixedTrack = this.outgoingStream.stream.getAudioTracks()[0];
this.handleIncomingSound();

addSoundFilter() {
  this.filter = this.audioContext.createBiquadFilter();
  this.filter.type = "lowpass";
  this.filter.frequency.value = this.mapFrequencyValue();

  this.gainer = this.audioContext.createGain();
  this.gainer.gain.value = this.mapGainValue();
}

handleIncomingSound() {
  this.audios.forEach((audio, peerId) => {
    this.filterAudio(audio);
  });
}
filterAudio(audioConsumerId) {
  let audio = this.audios.get(audioConsumerId);
  const audioElement = document.getElementById(audio.id);
  const incomingSource = this.audioContext.createMediaStreamSource(
    audioElement.srcObject
  );

  incomingSource.connect(this.filter).connect(this.gainer).connect(this.outgoingStream);
}

但Node.js里没有Web Audio API，请问这个需求能实现吗？如果可以该怎么做？

这个需求完全可行，Node.js生态里有专门处理音频流混音和滤波的工具库，结合mediasoup的Node.js客户端就能实现，核心思路是直接操作PCM音频数据，完成混音和滤波后再封装成MediaStream发送。

核心依赖库选择 #

• pcm-mixer：专注多轨PCM音频混音，支持统一采样率、位深、声道数配置
• audio-biquad-filter：实现与Web Audio API兼容的biquad滤波器，支持低通、高通等常见类型
• web-audio-api：Node.js环境下的Web Audio API兼容实现，辅助完成PCM与MediaStream的转换
• mediasoup-client：Node.js版本的mediasoup客户端，用于WebRTC流的接收与发送

实现步骤与代码示例 #

1. 初始化混音器与滤波器 #

const PCMMixer = require('pcm-mixer');
const BiquadFilter = require('audio-biquad-filter');
const { AudioContext } = require('web-audio-api');

// 配置混音器：单声道、44100Hz采样率、16位位深
const mixer = new PCMMixer({
  channels: 1,
  sampleRate: 44100,
  bitDepth: 16
});

// 初始化低通滤波器
const filter = new BiquadFilter({
  type: 'lowpass',
  frequency: 3000, // 替换为你的mapFrequencyValue()返回值
  sampleRate: 44100
});

const audioContext = new AudioContext();

2. 处理接收的音频源 #

// 处理单个mediasoup Consumer的音频流
async function processIncomingAudio(consumer) {
  const track = consumer.track;
  const recorder = new MediaRecorder(track.stream);
  
  // 每100ms获取一次音频数据块
  recorder.ondataavailable = async (e) => {
    const arrayBuffer = await e.data.arrayBuffer();
    // 将原始数据转换为16位PCM数组
    const pcmData = new Int16Array(arrayBuffer);
    // 加入混音器
    mixer.addTrack(pcmData);
  };
  
  recorder.start(100);
}

// 批量处理所有 incoming 音频源
this.audios.forEach((audio) => {
  processIncomingAudio(audio.consumer);
});

3. 混音+滤波+发送 #

// 监听混音器输出，处理后发送
mixer.on('data', async (mixedPCM) => {
  // 对混音后的PCM应用滤波
  const filteredPCM = filter.process(mixedPCM);
  
  // 将PCM转换为MediaStreamTrack
  const buffer = audioContext.createBuffer(1, filteredPCM.length, 44100);
  buffer.getChannelData(0).set(filteredPCM);
  
  const dest = audioContext.createMediaStreamDestination();
  const source = audioContext.createBufferSource();
  source.buffer = buffer;
  source.connect(dest);
  source.start();
  
  // 通过mediasoup Producer发送处理后的音频
  const producer = await mediasoupDevice.createProducer({
    track: dest.stream.getAudioTracks()[0],
    codec: 'opus'
  });
});

关键注意事项 #

• 所有音频源需统一采样率、位深和声道数，若不一致需先用audio-resampler做格式转换
• 调整混音器的gain参数可以控制各轨音频的音量，替代浏览器端的GainNode功能
• 需注意mediasoup Consumer和Producer的生命周期管理，避免内存泄漏

内容的提问来源于stack exchange，提问作者Michał Bogusz