如何微调Huggingface Transformers全量多语言翻译模型（Helsinki）

一、获取全量多语言MarianMT模型 #

• 可以直接下载支持多语言互译的预训练模型，比如Helsinki-NLP/opus-mt-mul-mul，这类模型覆盖了数百种语言的互译能力，包含绝大多数常用语言（包括你需要的德、英、西等5种语言）。
• 避免选择Helsinki-NLP/opus-mt-en-roa这类单方向单语言对子模型，这类模型仅针对特定语言对优化，不具备多语言互译的基础能力。
• 确认模型支持的语言列表：可在Hugging Face模型卡片的languages字段中查看，确保你的目标5种语言均被包含。

二、混合多语言对数据集进行微调 #

1. 统一数据集格式 #

• 将所有语言对的数据集整理为统一结构：每条数据包含src（源语言文本）、tgt（目标语言文本）、src_lang（源语言代码，如de/en）、tgt_lang（目标语言代码，如en/es）四个核心字段。
• 示例：德英对数据为src: "Das ist ein Test", tgt: "This is a test", src_lang: "de", tgt_lang: "en"；英德对数据为src: "This is a test", tgt: "Das ist ein Test", src_lang: "en", tgt_lang: "de"。

2. 合并并平衡数据集 #

• 将德英、英德、德西、西德等所有语言对的数据集拼接成一个单一训练集，无需区分语言对，模型会通过语言标识自动学习不同方向的翻译模式。
• 注意数据平衡性：若某类语言对数据量过大，可对其进行随机采样，保证各语言对的数据规模相对均衡，避免模型偏向某一语言方向。

3. 数据预处理（关键步骤） #

• MarianMT模型依赖目标语言前缀识别翻译方向，预处理时需在源文本前添加>>{tgt_lang}<< 前缀（比如将德语翻译成英语，输入文本应为>>en<< Das ist ein Test）。
• 预处理代码示例：

from transformers import MarianTokenizer

tokenizer = MarianTokenizer.from_pretrained("Helsinki-NLP/opus-mt-mul-mul")

def preprocess_data(examples):
    # 添加目标语言前缀
    inputs = [f">>{tgt}<< {src}" for src, tgt in zip(examples["src"], examples["tgt_lang"])]
    # 处理输入文本
    model_inputs = tokenizer(inputs, max_length=128, truncation=True, padding="max_length")
    # 处理目标文本（作为标签）
    with tokenizer.as_target_tokenizer():
        labels = tokenizer(examples["tgt"], max_length=128, truncation=True, padding="max_length")
    model_inputs["labels"] = labels["input_ids"]
    return model_inputs

# 对合并后的数据集批量应用预处理
tokenized_dataset = merged_dataset.map(preprocess_data, batched=True)

4. 启动微调训练 #

• 使用Seq2SeqTrainingArguments配置训练参数，根据硬件资源调整批量大小、学习率等；使用Seq2SeqTrainer加载模型和数据集启动训练。
• 训练代码示例：

from transformers import MarianMTModel, Seq2SeqTrainingArguments, Seq2SeqTrainer

model = MarianMTModel.from_pretrained("Helsinki-NLP/opus-mt-mul-mul")

training_args = Seq2SeqTrainingArguments(
    output_dir="./multi_lang_translator",
    per_device_train_batch_size=16,
    gradient_accumulation_steps=2,
    learning_rate=2e-5,
    num_train_epochs=5,
    fp16=True,  # GPU支持时开启加速
    evaluation_strategy="epoch",
    save_strategy="epoch",
    logging_dir="./logs",
)

trainer = Seq2SeqTrainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_dataset["train"],
    eval_dataset=tokenized_dataset["validation"],
)

trainer.train()

5. 多语言互译推理 #

• 推理时同样需要添加目标语言前缀，示例代码：

# 西班牙语转德语
input_text = ">>de<< Este es una prueba"
inputs = tokenizer(input_text, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_length=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

内容的提问来源于stack exchange，提问作者Simon