微调M2M模型加载1.2B checkpoint报错：架构不匹配如何解决？

核心问题分析 #

报错的本质是你指定的transformer_wmt_en_de_big架构与M2M-1.2B预训练checkpoint的实际架构存在细节差异——两者在模型维度、语言token处理逻辑等核心参数上并不完全一致，导致参数加载时无法匹配。

具体修复方案 #

1. 替换为M2M-1.2B对应的架构参数 #

放弃使用transformer_wmt_en_de_big，直接指定M2M-1.2B的标准核心参数，或者使用fairseq内置的M2M架构标识：

• 若fairseq内置了1.2B版本的架构（部分版本可能只有12B标识），可直接替换：

--arch m2m_1.2B

• 若内置标识不存在，手动指定核心维度参数（完全对齐M2M-1.2B的配置）：

--arch transformer \
--encoder-embed-dim 1024 \
--encoder-ffn-embed-dim 4096 \
--encoder-attention-heads 16 \
--decoder-embed-dim 1024 \
--decoder-ffn-embed-dim 4096 \
--decoder-attention-heads 16

2. 对齐语言token处理参数 #

M2M预训练时的语言token逻辑与transformer_wmt_en_de_big不同，需调整相关参数：

• 将--encoder-langtok src --decoder-langtok替换为M2M默认的语言token配置：

--langtok tgt

• 确保--share-all-embeddings、--share-decoder-input-output-embed参数与预训练checkpoint一致（M2M-1.2B默认开启这些共享，你的当前配置符合要求，但需确认checkpoint未修改此设置）。

3. 验证Checkpoint的架构细节 #

用以下代码查看预训练checkpoint的原始参数，确保训练命令完全对齐：

import torch
checkpoint = torch.load('/home/krish/content/1.2B_last_checkpoint.pt')
# 打印预训练时的架构参数
print(checkpoint['args'])
# 查看模型参数键名，对比当前模型的参数结构
print(list(checkpoint['model'].keys())[:10])

比如如果checkpoint中编码器嵌入维度是1024，而你之前用的transformer_wmt_en_de_big是512，就会直接触发不匹配报错。

4. 修正后的完整训练命令示例 #

CUDA_VISIBLE_DEVICES="0" python /home/krish/content/train.py /home/krish/content/Hindi_Marathi/wmt22_spm/wmt22_bin \
        --arch transformer \
        --encoder-embed-dim 1024 \
        --encoder-ffn-embed-dim 4096 \
        --encoder-attention-heads 16 \
        --decoder-embed-dim 1024 \
        --decoder-ffn-embed-dim 4096 \
        --decoder-attention-heads 16 \
        --task translation_multi_simple_epoch \
        --finetune-from-model /home/krish/content/1.2B_last_checkpoint.pt \
        --save-dir /home/krish/content/Hindi_Marathi/checkpoint \
        --langs 'hi,mr' \
        --lang-pairs 'hi-mr' \
        --max-tokens 1200 \
        --encoder-normalize-before --decoder-normalize-before \
        --sampling-method temperature --sampling-temperature 1.5 \
        --langtok tgt \
        --criterion label_smoothed_cross_entropy --label-smoothing 0.2 \
        --optimizer adam --adam-eps 1e-06 --adam-betas '(0.9, 0.98)' \
        --lr-scheduler inverse_sqrt --lr 3e-05 \
        --warmup-updates 2500 --max-update 40000 \
        --dropout 0.3 --attention-dropout 0.1 \
        --weight-decay 0.0 \
        --update-freq 2 --save-interval 5 \
        --save-interval-updates 5000 --keep-interval-updates 3 \
        --no-epoch-checkpoints \
        --seed 222 \
        --log-format simple \
        --log-interval 2 \
        --encoder-layers 12 --decoder-layers 12 \
        --encoder-layerdrop 0.05 --decoder-layerdrop 0.05 \
        --share-decoder-input-output-embed \
        --share-all-embeddings \
        --ddp-backend no_c10d

额外注意事项 #

• 若你的checkpoint是从Hugging Face转换而来，需确认转换过程中未修改模型架构参数，建议优先使用fairseq官方发布的M2M-1.2B预训练checkpoint。
• fairseq加载checkpoint时会严格校验参数的数量、键名和维度，任何细微差异都会触发报错，必须保证训练命令的架构参数与checkpoint完全一致。

内容的提问来源于stack exchange，提问作者KRISH MANTRI