使用Java Sound API录音出现严重回声，附代码求问题排查及解决方法

核心问题原因 #

• 缺失声学回声消除(AEC)逻辑：本地Player播放的远端用户声音会被Recorder直接采集，编码发回远端，形成回声环路，参会人数越多环路越多，回声叠加越严重。
• 服务端流转发逻辑错误：如果服务端未过滤发送者自身的音频流，你自己发送的音频会被回传给本地播放，哪怕佩戴耳机也会出现明显自回声。
• 现有代码的参数错误
  1. 帧大小计算错误：16kHz采样率、16bit单通道下，60ms音频的大小应为16000 * 2 * 1 * 0.06 = 1920字节，你设置的1960字节会导致帧错位，出现杂音、延迟变大的问题，进一步加重回声感知。
  2. 未指定设备缓冲区大小：默认的底层缓冲区过大，会导致音频延迟超过300ms，回声时延稳定，更难被消除。
  3. 缺少增益控制：麦克风、扬声器增益过高会放大漏音、线路串扰的信号，放大回声。

修复实现方案 #

1. 必须集成声学回声消除能力 #

这是解决回声的核心手段，Java环境下有两种常用方案：

• 集成WebRTC AEC模块（推荐）：通过JNI调用WebRTC的成熟AEC能力，工业级效果，适配绝大多数场景。核心逻辑为：每调用SourceDataLine.write()播放一帧音频时，将该帧作为参考帧传入AEC模块；Recorder采集到的音频帧作为AEC输入，处理后的帧再编码发往服务器，即可消除采集信号中包含的播放声音。
• 轻量方案：使用TarsosDSP等Java音频库自带的AEC实现，适合对效果要求不高的简单场景。

2. 修复现有代码错误 #

修正帧大小与缓冲区配置

// Recorder类中，修改缓冲区大小和open参数
byte [] data = new byte[1920]; // 修正为正确的60ms帧大小
line.open(format, 1920 * 4); // 显式指定4帧大小的缓冲区，控制延迟在240ms以内

// Player类同理
byte [] data = new byte[1920];
sline.open(format, 1920 *4);

增加音频增益控制

// Recorder初始化line后添加麦克风增益控制
if (line.isControlSupported(FloatControl.Type.MASTER_GAIN)) {
    FloatControl micGain = (FloatControl) line.getControl(FloatControl.Type.MASTER_GAIN);
    // 降低增益避免信号过爆，可根据实际场景调整
    micGain.setValue(Math.max(micGain.getMinimum(), micGain.getValue() - 8));
}

// Player初始化sline后添加扬声器增益控制
if (sline.isControlSupported(FloatControl.Type.MASTER_GAIN)) {
    FloatControl speakerGain = (FloatControl) sline.getControl(FloatControl.Type.MASTER_GAIN);
    speakerGain.setValue(Math.min(speakerGain.getMaximum(), speakerGain.getValue() - 5));
}

3. 优化服务端转发逻辑 #

服务端向用户下发音频流时，过滤掉用户自身发送的流，避免自回声。

4. 附加优化 #

• 增加静音检测(VAD)逻辑：本地无人说话时不发送音频包，减少不必要的回声传输。
• 多人会议场景增加主动降噪(ANS)、自动增益控制(AGC)辅助处理，进一步提升音频质量。

内容的提问来源于stack exchange，提问作者Sodrul Amin Shaon