如何微调语音转文本LLM使其适配特定词库？

一、核心方向确认 #

你调研的「自行收集针对性训练数据」方向完全正确，这是实现词汇约束或扩展的核心前提。

二、具体操作步骤 #

1. 调整Tokenizer词汇表 #

• 限制输出到特定词汇集：直接替换原模型的tokenizer词汇表为你的目标词汇集。注意Wav2Vec2的tokenizer基于字符/子词，要确保目标词汇的所有子词/字符都覆盖，避免未登录词（OOV）问题。
• 新增词汇：在原词汇表基础上添加新词汇对应的子词/字符，调用tokenizer.train_new_from_iterator重新训练tokenizer的映射关系，保证新词汇能被正确拆分识别。

2. 准备针对性训练数据 #

• 收集包含目标词汇的语音-文本配对样本，每个样本的转录文本必须完全由目标词汇（或原词汇+新增词汇）组成，建议至少准备几百条（数量越多，微调效果越稳定）。
• 数据格式采用Hugging Face兼容的CSV或JSONL，包含audio（音频路径/数组）和transcription（对应文本）字段。

3. 模型微调 #

加载修改后的tokenizer和原模型，用Hugging Face的Trainer工具完成微调：

• 配置训练参数：重点调整per_device_train_batch_size、num_train_epochs；如果要严格约束词汇，可在损失计算时对OOV token添加惩罚，或直接过滤含OOV的样本。
• 针对新增词汇的场景，要保证训练数据里有足够多的新增词汇样本，让模型学习对应语音特征与文本的映射。

4. 进阶：添加强制约束层 #

如果需要严格限制输出范围，可在模型输出层后增加词汇过滤逻辑：

• 获取模型输出的logits后，将非目标词汇对应的token的logits设为负无穷，强制模型仅从目标词汇集中选择预测结果。
• 该方法建议与微调结合使用，既能保证准确率，又能严格约束输出。

三、关键注意事项 #

• 泰语为拼音文字，调整tokenizer时要确保子词分割逻辑能正确适配目标词汇，避免拆分错误导致识别失败。
• 微调后务必用含目标词汇的测试集验证，确认输出完全符合词汇集要求。

内容的提问来源于stack exchange，提问作者Christopher Marley