微调Whisper Large V2后输出奇怪乱码字符，寻求排查解决办法

• 检查训练数据的编码一致性

  • 确认所有训练样本已正确从latin_1转成UTF-8：随机抽取样本用open(file, 'rb').read().decode('utf-8', errors='strict')测试，若抛出UnicodeDecodeError，说明该样本编码未转换完全。也可使用chardet工具批量检测文件编码，排查漏处理的样本。
  • 数据集加载时明确指定编码：使用load_dataset加载本地文件时，添加encoding='utf-8'参数，避免系统默认编码导致读入乱码。

• 验证Whisper文本预处理管道的一致性

  • 确保微调时的WhisperTokenizer设置与基准模型完全一致：重点检查normalize参数，若微调时修改了文本规范化逻辑，可能破坏特殊字符的编码。
  • 测试tokenizer的编码解码流程：抽取训练样本，用微调使用的tokenizer执行编码-解码，看输出是否乱码。示例代码：

    from transformers import WhisperTokenizer
    tokenizer = WhisperTokenizer.from_pretrained("openai/whisper-small", language="nl", task="transcribe")
    sample_label = "训练集中的某条荷兰语文本"
    decoded_text = tokenizer.decode(tokenizer.encode(sample_label))
    print(decoded_text)
    

    若解码后出现乱码，说明tokenizer的处理环节存在编码问题。

• 排查转码步骤的双重编码错误

  • 乱码ã©是典型的双重编码结果：原latin_1的é（字节\xe9）被错误地当作UTF-8解码（得到ã©），再重新编码为UTF-8。检查预处理代码，确保转码逻辑是先以latin_1解码字节，再以UTF-8编码，正确代码示例：

    # 正确转码方式
    with open(input_file, 'rb') as f:
        latin1_bytes = f.read()
    utf8_text = latin1_bytes.decode('latin_1').encode('utf-8').decode('utf-8')
    

    避免直接对字节执行错误的编码转换，比如latin1_bytes.decode('utf-8', errors='ignore')这类错误操作。

• 检查训练流程中的数据缓存与修改

  • 若训练时使用dataset.save_to_disk缓存数据集，确认缓存文件的编码为UTF-8，加载时无编码异常。
  • 排查训练脚本中是否有额外的文本修改逻辑（如字符替换、大小写转换），确保这些操作未破坏多字节字符的完整性。

• 排除推理环节的解码设置差异

  • 确认微调后模型推理时的tokenizer解码参数与基准模型一致，比如skip_special_tokens=True、clean_up_tokenization_spaces=True等，虽然这类设置通常不会导致乱码，但可作为最后排查项。

内容的提问来源于stack exchange，提问作者Golshid