集成OpenAI Whisper的Discord Bot转录结果不一致问题求助

问题背景 #

开发基于Python的Discord机器人（使用interactions库），通过修改该库获取语音通话的PCM二进制数据，传入以下函数用OpenAI Whisper进行转录：

def binary_transcribe(self, audio_data): 
    audio_data = frombuffer(audio_data, dtype=int16)
    audio_data = audio_data.astype('float32') / 32767.0
    result = self.model.transcribe(audio_data)
    self.p.terminate()
    print("Transcription completed...")
    return result["text"]

目前遇到的问题：相同音频输入下，Whisper转录结果不一致、准确率低，无法稳定输出正确内容。

调整方案与注意事项 #

1. 固定随机性参数消除结果差异 #

Whisper默认转录逻辑带有随机性（如beam search多路径探索），导致相同输入输出不同。通过以下参数固定结果：

• 设置temperature=0.0：完全禁用随机性，强制输出概率最高的结果
• 设置beam_size=1：限制搜索路径数量，进一步减少不确定性
• 可选：添加seed=固定整数，确保每次运行的随机数种子一致

2. 修正音频预处理流程 #

Discord语音默认格式是48kHz单声道PCM，而Whisper期望输入为16kHz单声道音频，采样率不匹配会直接导致转录准确率下降：

• 使用librosa.resample函数将音频从48kHz重采样到16kHz
• 确保音频数据是完整的单声道数据，避免多声道混叠

3. 指定目标语言减少检测误差 #

如果明确用户使用的语言，在transcribe中指定language参数（如language="zh"或language="en"），跳过Whisper自动语言检测步骤，既提升准确率又减少随机性。

4. 选择合适的Whisper模型 #

• 避免使用tiny模型：体积小但准确率极低，稳定性差
• 优先选择base/small模型（平衡速度与准确率），对准确率要求高时使用medium模型

5. 验证音频数据完整性 #

修改interactions库获取PCM数据时，需确保：

• 录音开始/结束时没有截断数据，完整保存所有二进制流
• 没有因机器人事件循环阻塞导致数据丢包
• 可将PCM文件转换为WAV格式（用命令：ffmpeg -f s16le -ar 48000 -ac 1 -i input.pcm output.wav），直接用Whisper转录WAV文件验证数据是否正常

6. 优化模型加载逻辑 #

确保机器人启动时仅加载一次Whisper模型实例，避免每次转录重新加载模型导致的潜在差异。

调整后的示例代码 #

from numpy import frombuffer
from librosa import resample

def binary_transcribe(self, audio_data): 
    # 转换为int16格式的音频数组
    audio_data = frombuffer(audio_data, dtype=int16)
    # 归一化到[-1.0, 1.0]范围
    audio_data = audio_data.astype('float32') / 32767.0
    # 将48kHz采样率重采样为Whisper所需的16kHz
    audio_data = resample(audio_data, orig_sr=48000, target_sr=16000)
    # 固定转录参数，确保结果一致且准确
    result = self.model.transcribe(
        audio_data,
        temperature=0.0,
        language="zh",  # 根据实际使用语言调整
        beam_size=1
    )
    self.p.terminate()
    print("Transcription completed...")
    return result["text"]

内容的提问来源于stack exchange，提问作者Dawn of Justize