神经机器翻译<unk>token预测及Fairseq中Transformer保留特定词问题

问题根源 #

你遇到的--replace-unk失效，本质是Transformer对未登录词（比如MKIK、“牛逼”）的对齐机制没起作用——这个参数本来是把模型输出的<unk>替换成输入里对齐的源词，但如果词汇不在词表里、或者模型没学到对齐关系，就触发不了。

实用解决方案 #

1. 让词表和嵌入层强制对齐 #

如果是双语任务，直接把这些特定词汇塞进源和目标词表，并且让模型共享嵌入层：

• 手动编辑源/目标词表文件，把MKIK、牛逼加进去，保证两边的ID完全一致。
• 训练时加--share-all-embeddings参数，让源和目标的词嵌入权重共享，模型自然会优先输出和输入一致的词汇。

2. 解码后手动做替换（最直接） #

绕开Fairseq内置的有问题的逻辑，自己写个小脚本处理：

• 先让模型正常解码，保留输出里的<unk>。
• 把输入序列和输出序列按位置对应，遇到<unk>就换成输入里同位置的词汇。
• 简单示例代码：

src_seq = ["MKIK", "今天", "牛逼"]
tgt_seq = model.generate(src_seq)  # 假设这里输出是["<unk>", "today", "<unk>"]
final_out = []
for src_word, tgt_word in zip(src_seq, tgt_seq):
    final_out.append(src_word if tgt_word == "<unk>" else tgt_word)
print(" ".join(final_out))  # 输出：MKIK today 牛逼

3. 修复Fairseq的--replace-unk逻辑 #

如果确定是框架bug，直接改源码：

• 找到fairseq/generate.py里的replace_unk函数，检查它是不是没正确处理Transformer的对齐输出。
• 确保函数能从源序列里提取对应位置的词汇，哪怕这个词是未登录词（OOV）。

4. 解码时加强制约束 #

用Fairseq的--constraints参数，直接指定模型必须输出某些词汇：

• 比如输入里有MKIK和牛逼，解码命令这么写：

fairseq-generate data-bin/your_dataset \
    --path checkpoints/checkpoint_best.pt \
    --batch-size 1 \
    --constraints "MKIK 牛逼"

内容的提问来源于stack exchange，提问作者xihajun