Windows平台下使用Opus编解码音频出现噪声问题求助

背景 #

尝试通过WASAPI捕获默认设备音频，使用Opus完成编码、解码与流式传输，已完成编码器和解码器初始化，代码如下：

初始化逻辑 #

//SAMPLE_RATE: 48000, CHANNELS: 2, BITRATE: 64000

//encoder
encoder = opus_encoder_create(SAMPLE_RATE, CHANNELS, APPLICATION, &err);
if (err < 0)
{
    fprintf(stderr, "failed to create an encoder: %s\n", opus_strerror(err));
    return err;
}

err = opus_encoder_ctl(encoder, OPUS_SET_BITRATE(BITRATE));
if (err < 0)
{
   fprintf(stderr, "failed to set bitrate: %s\n", opus_strerror(err));
   return err;
}

//Decoder
decoder = opus_decoder_create(SAMPLE_RATE, CHANNELS, &err);
if (err < 0)
{
   fprintf(stderr, "failed to create an encoder: %s\n", opus_strerror(err));
   return err;
}

捕获的音频以字节数组存储，因编码器要求输入为__int16格式，已做小端转换，编码逻辑如下：

编码逻辑 #

//SAMPLE RATE: 48KHz, FRAME_SIZE : 960 , CHANNELS : 2 & MAX_PACKET_SIZE : 3828 

unsigned char cbits[MAX_PACKET_SIZE] = "";
opus_int16 in[CHANNELS * FRAME_SIZE] = { 0 };
BYTE* data = new (std::nothrow) BYTE[NoOfFrames * _FrameSize];

for (i = 0; i < CHANNELS * NoOfFrames; i++)
{
    in[i] = data[2 * i + 1] << 8 | data[2 * i];
}

nbBytes = opus_encode(encoderState, in, FRAME_SIZE, cbits, MAX_PACKET_SIZE);
if (nbBytes < 0)
{
    fprintf(stderr, "encode failed: %s\n", opus_strerror(nbBytes));
    return;
}

编码后的字节流传入解码器，输出为__int16格式，已转换回小端格式并保存为WAV文件验证，解码逻辑如下：

解码逻辑 #

//CHANNELS: 2

opus_int16 out[MAX_FRAME_SIZE * CHANNELS] = { 0 };
unsigned char pcm_data[MAX_FRAME_SIZE * CHANNELS * sizeof(opus_int16)] = "";

//assume encodedData and encodedDataBytes are obtained after encoding

nDecodedSamples = opus_decode(decoderState, encodedData, encodedDataBytes, out, MAX_FRAME_SIZE, 0);
if (nDecodedSamples < 0)
{
   fprintf(stderr, "decode failed: %s\n", opus_strerror(nDecodedSamples));
   return;
}

for (i = 0; i < CHANNELS * nDecodedSamples; i++)
{
    pcm_data[2 * i] = out[i] & 0xFF;
    pcm_data[2 * i + 1] = (out[i] >> 8) & 0xFF;
}

问题 #

解码后保存的WAV文件存在大量噪声，用Audacity导入原始PCM数据也有同样问题，怀疑是编解码参数设置错误，求指正并提供解决方案。

解决方案 #

1. 字节序转换逻辑错误（核心问题） #

Windows系统是小端字节序，WASAPI捕获的PCM数据本身就是小端格式，而opus_int16在Windows下也是小端存储。现有编码转换逻辑in[i] = data[2 * i + 1] << 8 | data[2 * i]把小端字节反转成了大端整数，导致样本值完全错误，这是噪声的主要来源。

修正编码转换逻辑：

// 正确的小端字节转opus_int16
in[i] = (opus_int16)(data[2 * i] | (data[2 * i + 1] << 8));
// 或直接内存拷贝，效率更高（系统字节序一致时）
memcpy(in, data, CHANNELS * FRAME_SIZE * sizeof(opus_int16));

2. 帧大小与输入样本数不匹配 #

编码循环使用CHANNELS * NoOfFrames作为上限，但opus_encode要求输入的是单通道帧大小×通道数的样本量（即CHANNELS * FRAME_SIZE）。如果NoOfFrames不等于FRAME_SIZE，会导致样本读取越界或不足，引入噪声。

修正编码循环上限：

for (i = 0; i < CHANNELS * FRAME_SIZE; i++)
{
    in[i] = (opus_int16)(data[2 * i] | (data[2 * i + 1] << 8));
}

同时确保data的长度为CHANNELS * FRAME_SIZE * sizeof(opus_int16)，每次编码只传入对应单帧的PCM数据。

3. 解码器输出帧大小参数不匹配 #

opus_decode的第四个参数是单通道最大输出样本数，需与编码时的FRAME_SIZE（960）完全一致。如果MAX_FRAME_SIZE不等于FRAME_SIZE，会导致解码器输出样本数异常，PCM数据错位。

修正解码参数：

nDecodedSamples = opus_decode(decoderState, encodedData, encodedDataBytes, out, FRAME_SIZE, 0);

4. 编码器应用场景参数未明确 #

初始化编码器时的APPLICATION参数未指定具体值，Opus的不同应用场景参数（如OPUS_APPLICATION_AUDIO通用音频、OPUS_APPLICATION_VOIP语音）会影响编码算法，参数模糊可能导致音质问题。

修正初始化代码：

// 通用音频场景示例
encoder = opus_encoder_create(SAMPLE_RATE, CHANNELS, OPUS_APPLICATION_AUDIO, &err);

5. 通道布局一致性验证 #

Opus默认使用交织式通道布局（左、右、左、右...），需确认WASAPI捕获的PCM数据也是交织格式。如果WASAPI输出非交织格式（左声道所有样本后接右声道），需调整编码前的样本填充逻辑：

// 非交织转交织示例
for (int frame = 0; frame < FRAME_SIZE; frame++)
{
    // 左声道样本
    in[frame * 2] = (opus_int16)(data[frame * 2] | (data[frame * 2 + 1] << 8));
    // 右声道样本（位于左声道之后的区域）
    in[frame * 2 + 1] = (opus_int16)(data[FRAME_SIZE * 2 + frame * 2] | (data[FRAME_SIZE * 2 + frame * 2 + 1] << 8));
}

内容的提问来源于stack exchange，提问作者Preethi Ravi