Whisper large-v3无法完整转录音频的原因及解决方案咨询

问题现象 #

• 使用Whisper large-v3模型转录长音频（30分钟至2-3小时）时，存在部分人声区间未被转录的情况
• 已通过pydub将音频分割为15分钟片段，但large-v3仍无法完整转录该片段；仅当片段时长小于5分钟时才能完整转录
• 其他large系列模型（如large、large-v2）可正常转录15分钟片段
• 所有分割后的音频文件均已被处理

问题原因分析 #

1. 模型上下文窗口限制：Whisper large-v3的上下文窗口设计与旧版large模型不同，large-v3的默认上下文长度更严格，当音频片段时长超过阈值（对应约5分钟音频，按48kHz采样率计算，采样点数量接近模型上限），模型会截断或忽略部分内容。
2. 温度参数设置过严：当前代码中设置temperature=0.0，让模型完全以确定性模式输出，对于较长片段，遇到模糊或复杂音频部分时，模型可能直接停止转录，而非尝试生成内容。
3. 模型处理逻辑的兼容性问题：large-v3针对长音频的处理逻辑进行了重构，但在法语等特定语言场景下存在bug，导致长片段转录中断。

解决方法 #

1. 缩短音频分割时长：将音频分割为4.5分钟以内的片段（如270秒/270000毫秒），确保每个片段的采样点数量在large-v3的上下文窗口范围内。修改segment_audio_duration函数的millisecond_duration参数为270000即可。
2. 优化转录参数：
   • 适当提高temperature值（如设置为0.2），让模型在遇到不确定内容时仍尝试生成，避免直接中断。
   • 添加condition_on_previous_text=True参数，让模型利用之前的转录上下文，提升长片段的连贯性。
     修改后的转录代码片段：

   result = model.transcribe(
       audio_path,
       temperature=0.2,
       language=language,
       fp16=gpu_usable,
       condition_on_previous_text=True
   )
   

3. 优化音频格式：分割后导出为无压缩的WAV格式，避免格式转换导致的音频信息丢失。修改segment_audio_duration函数的format参数为"wav"。
4. 更新Whisper版本：运行pip install --upgrade openai-whisper，安装最新版本，修复已知的长音频处理bug。

为何其他large模型无此问题 #

• 上下文窗口容量不同：旧版large/large-v2模型的上下文窗口设计更大，能够容纳15分钟音频对应的采样点数量，因此不会出现截断问题。
• 处理逻辑成熟度差异：旧版large模型经过更多实际场景验证，长音频处理逻辑更稳定；而large-v3作为较新模型，在特定语言或场景下的兼容性优化尚未完全到位。
• 温度参数兼容性不同：旧版模型对temperature=0.0的兼容性更好，即使长片段下也能持续转录；而large-v3在严格确定性模式下更容易出现转录中断。

内容的提问来源于stack exchange，提问作者user17616824