Whisper-Tiny模型微调翻译任务输出英文问题排查求助

一、数据准备环节 #

• 确认目标语言标注正确性：检查训练数据集的翻译目标字段是否为阿拉伯语文本，而非原语音的英文转录。很多微调失败的案例都是误将转录文本当成翻译目标，导致模型学不到阿拉伯语翻译能力。
• 添加任务与语言标识token：Whisper依赖特殊token识别任务类型和目标语言，训练时必须在每个阿拉伯语目标文本前拼接<|translate|><|ar|>，例如：

  def process_labels(examples):
      examples["labels"] = [f"<|translate|><|ar|>{text}" for text in examples["arabic_translation"]]
      return examples
  

  缺失这些标识会让模型默认执行转录或英文翻译任务。

二、训练配置检查 #

• 明确任务与语言参数：训练脚本中必须指定task="translate"和language="ar"，确保模型知道要完成“语音转阿拉伯语翻译”的任务，而非默认的转录。例如在使用Trainer时，要把这些参数传入模型的生成配置：

  model.config.forced_decoder_ids = tokenizer.get_decoder_prompt_ids(task="translate", language="ar")
  

• 验证训练目标对齐：确保损失计算是基于阿拉伯语标签的，而非英文转录文本。检查数据加载器的输出，确认labels字段对应的是处理后的阿拉伯语文本，而非原语言转录内容。

三、推理阶段设置 #

• 强制指定任务与语言：推理时必须显式传入task="translate"和language="ar"，否则模型会 fallback 到预训练的默认行为（输出英文）。正确的调用示例：

  transcription = model.transcribe(
      "test_audio.wav",
      task="translate",
      language="ar",
      temperature=0.0,
      beam_size=5
  )
  print(transcription["text"])
  

• 避免默认prompt干扰：如果推理时没有指定语言和任务，模型可能会根据输入语音的语言自动选择转录，而非翻译。务必在调用时明确参数。

四、其他潜在问题 #

• 训练数据量不足：翻译任务需要足够的双语语音数据（原语音+阿拉伯语翻译），如果仅用少量数据微调，模型无法覆盖阿拉伯语的语言特征，会继续输出预训练的英文。建议补充至少几千条有效双语样本。
• 训练参数不合理：如果学习率过高（如大于1e-4）或训练轮次太少，模型未完成微调，仍保留预训练的英文输出习惯。尝试降低学习率至1e-5，增加训练轮次至10-20轮，或使用线性学习率调度器。
• 权重加载错误：检查推理时加载的模型路径是否为微调后的权重，而非原始Whisper-Tiny预训练权重。可以通过打印模型的config字段确认是否保留了微调时的语言和任务设置。

内容的提问来源于stack exchange，提问作者maria labed