如何针对匈牙利语等未支持语言训练及微调Hugging Face MBart模型

你已经读过的官方文档和Hugging Face通用语言模型训练教程完全可以适配你的需求，不需要额外找零散资料，只需要针对多语言翻译的场景调整几个核心环节即可，具体思路如下：

第一步：基础准备与资料适配 #

• 原有教程里的词表扩展、模型微调、损失计算逻辑都可以直接复用，你只需要把通用训练流程对齐到多语言Seq2Seq翻译场景即可。
• 优先准备目标语种的平行语料：如果是做匈牙利语和英语互译，至少准备10万条以上的匈英句对；如果是更小众的未支持语种，可先准备百万级以上的单语语料做初步对齐，再配合平行语料训练。
• 扩展MBart原有词表：补充目标语种不在原有25种语言词表里的常用词汇、专有名词，同时新增目标语种的专属语言代码token，用于模型识别输入输出的语种类型。

第二步：分阶段训练流程 #

• 第一阶段：新语种嵌入对齐
  冻结MBart原有全部预训练参数，仅调整新增的token embedding层和输出层，用目标语种的单语语料训练3-5轮，目标是让新语种的词向量空间和MBart原有预训练的多语言向量空间对齐，避免后续微调破坏原有预训练效果。
• 第二阶段：平行语料微调
  放开MBart编码器顶部2-3层、解码器顶部2-3层的参数，和embedding层一起用平行语料训练，训练时按照MBart的输入规范，在每句开头加入对应语种的语言代码token，比如匈牙利语加hu_HU、英语加en_XX，损失函数用翻译任务通用的交叉熵损失即可，这一步对应原有教程里的下游任务微调逻辑。
  如果你的目标语种平行语料不足1万条，一定要先做伪语料扩充再微调，直接训练很容易过拟合
• 第三阶段：低资源优化
  平行语料不足的情况下可以用回译法扩充数据：比如先用通用翻译工具把大规模英语语料翻译成目标小语种，生成伪平行句对，先喂给模型做预训练，再用真实平行语料微调，效果会有明显提升。

第三步：效果验证 #

• 量化评估可以直接用evaluate库中的BLEU指标接口，不需要自己实现评估逻辑。
• 要分别测试源语言转目标语言、目标语言转源语言两个方向的效果，避免出现单向翻译偏置的问题。

内容的提问来源于stack exchange，提问作者Kafka