如何开发可在语音通话中通过麦克风播放音频的音效板？

核心思路是通过虚拟音频输入设备，将真实麦克风输入与本地音频文件的音频流混合后输出到虚拟设备，让语音聊天软件把该虚拟设备识别为麦克风输入，从而实现对方听到混合音效+你的语音的效果。

分平台技术方案 #

Windows平台 #

• 基础依赖：安装VB-Cable（轻量免费虚拟音频驱动），它会生成一对虚拟音频设备（CABLE Input/CABLE Output）。
• 开发实现：
  • 用.NET的NAudio库或Win32 Core Audio API处理音频流：
    1. 捕获真实麦克风的音频流（WaveInEvent类）。
    2. 读取本地音频文件（WAV/MP3等）的音频流（AudioFileReader类）。
    3. 统一两者的采样率、声道数、位深，通过MixingWaveProvider32完成音频混合。
    4. 将混合后的流输出到CABLE Input设备（WaveOutEvent指定对应设备）。
  • 代码片段（NAudio）：

    // 初始化麦克风捕获
    var mic = new WaveInEvent();
    mic.WaveFormat = new WaveFormat(44100, 16, 2);
    var micProvider = new WaveInProvider(mic);
    
    // 加载并转换音频文件格式
    var audioFile = new AudioFileReader("soundeffect.wav");
    var resampledFile = new MediaFoundationResampler(audioFile, mic.WaveFormat);
    
    // 混合音频流
    var mixer = new MixingWaveProvider32();
    mixer.AddInputStream(micProvider.ToSampleProvider().ToWaveProvider32());
    mixer.AddInputStream(resampledFile.ToSampleProvider().ToWaveProvider32());
    
    // 输出到虚拟设备（需枚举确认设备编号，此处假设为最后一个）
    var output = new WaveOutEvent();
    output.DeviceNumber = WaveOut.DeviceCount - 1;
    output.Init(mixer);
    output.Play();
    

  • 配置：在语音软件（如Discord/Teams）中选择「CABLE Input」作为麦克风输入。

macOS平台 #

• 基础依赖：安装BlackHole（开源虚拟音频驱动，替代老旧的Soundflower）。
• 开发实现：
  • 基于AVFoundation/Core Audio框架：
    1. 用AVCaptureSession捕获麦克风输入，获取音频样本缓冲区。
    2. 用AVAudioEngine加载音频文件，提取播放的音频数据。
    3. 在样本级别完成麦克风数据与音频文件数据的混合（确保格式匹配）。
    4. 将混合后的数据写入BlackHole的虚拟音频输入设备。
  • 快速测试方案（ffmpeg）：

    ffmpeg -f avfoundation -i ":0" -i soundeffect.wav -filter_complex amix=inputs=2:duration=longest -f avfoundation -ac 2 ":BlackHole 2ch"
    

  • 配置：在系统音频设置或语音软件中选择BlackHole作为麦克风输入。

Linux平台 #

• 基础依赖：利用PulseAudio内置模块创建虚拟设备。
• 步骤：
  1. 创建虚拟音频设备：

  # 创建虚拟输出sink
  pactl load-module module-null-sink sink_name=VirtualMic sink_properties=device.description="Virtual_Microphone"
  # 将sink监听转换为虚拟输入源
  pactl load-module module-remap-source master=VirtualMic.monitor source_name=VirtualMicSource source_properties=device.description="Virtual_Microphone_Source"
  

  2. 混合麦克风与音频文件输出到虚拟设备：

  ffmpeg -f pulse -i default -i soundeffect.wav -filter_complex amix=inputs=2:duration=longest -f pulse -ac 2 VirtualMic
  

  3. 配置：在语音软件中选择「Virtual_Microphone_Source」作为麦克风输入。

关键注意事项 #

• 格式一致性：混合前必须确保麦克风流与音频文件的采样率、位深、声道数完全一致，否则会出现杂音或播放失败。
• 低延迟优化：实时场景下，选择低延迟音频驱动（如Windows的ASIO），并缩小音频缓冲区大小。
• 动态控制：实现音效启停、音量调节时，需在代码中动态管理音频流的添加/移除或音量参数。

内容的提问来源于stack exchange，提问作者Martin Kakhuis