MarianMT模型交叉注意力层对齐与论文结论不符的问题咨询

一、问题现象与测试细节 #

检查预训练MarianMT翻译模型的交叉注意力层时发现：第0、1层的交叉注意力实现了输入与输出间的最优token对齐，最后几层则无法正确对齐输入输出tokens。使用BertViz可视化全部6层的所有注意力头，测试英德（Helsinki-NLP/opus-mt-en-de）、英中（Helsinki-NLP/opus-mt-en-zh）两种翻译方向，结果完全一致，但这与《Jointly Learning to Align and Translate with Transformer Models》中“最后层对齐更准确”的结论不符。

测试代码如下：

from transformers import AutoTokenizer, AutoModel
import os
os.environ['TRANSFORMERS_CACHE'] = '/data2/hanyings/.cache'

tokenizer = AutoTokenizer.from_pretrained("Helsinki-NLP/opus-mt-en-de")
model = AutoModel.from_pretrained("Helsinki-NLP/opus-mt-en-de", output_attentions=True)

encoder_input_ids = tokenizer("She sees the small elephant.", return_tensors="pt", add_special_tokens=True).input_ids
with tokenizer.as_target_tokenizer():
    decoder_input_ids = tokenizer("Sie sieht den kleinen Elefanten.", return_tensors="pt", add_special_tokens=True).input_ids

outputs = model(input_ids=encoder_input_ids, decoder_input_ids=decoder_input_ids)

encoder_text = tokenizer.convert_ids_to_tokens(encoder_input_ids[0])
decoder_text = tokenizer.convert_ids_to_tokens(decoder_input_ids[0])

from bertviz import model_view
model_view(
    encoder_attention=outputs.encoder_attentions,
    decoder_attention=outputs.decoder_attentions,
    cross_attention=outputs.cross_attentions,
    encoder_tokens= encoder_text,
    decoder_tokens = decoder_text
)

二、核心原因分析 #

1. 模型训练策略与结构差异 #

MarianMT采用字节对编码（BPE）+ 蒸馏/轻量化训练策略，和论文中标准Transformer的从头训练流程存在本质区别：

• 论文中的标准Transformer深层注意力会逐步优化token对齐精度，而MarianMT作为轻量化模型，训练时将基础的token对齐任务前置到浅层，深层则专注于抽象语义的转换；
• 多数公开MarianMT模型由大模型蒸馏得到，深层注意力模式被简化，不再保留原大模型的深层对齐特性。

2. 交叉注意力的功能分层 #

Transformer解码器的交叉注意力层在不同层级有明确功能分工：

• 前两层：负责捕捉表层token级硬对齐，直接匹配源-目标词的位置、词形关联，这也是BertViz中能看到清晰一一对应效果的原因；
• 深层：转向捕捉语义级软对齐，不再局限于单个token的对应，而是整合源句的全局语义信息，为目标token生成提供语境支撑——这种对齐无法通过单个注意力头的权重直观观测，但对翻译正确性至关重要。

3. 可视化工具的局限性 #

BertViz展示的是单个注意力头的权重分布，但MarianMT深层注意力头采用更分散的权重分配方式：

• 单个头的权重看起来没有明确对齐，但多个头的加权组合仍能捕捉到正确的语义关联；
• 深层注意力可能聚焦于源句的短语、句子级语义单元，而非单个token，因此可视化时看不到清晰的一一对应关系。

三、“最后层对齐不准确却能正确预测”的逻辑 #

模型的翻译预测依赖解码器所有层输出的综合表示，而非单一交叉注意力层的对齐：

• 浅层的硬对齐已经为模型提供了基础的位置对应关系，深层则在此基础上完成语义转换和目标语言的语法生成；
• 深层不需要显式的token对齐，只需正确传递和利用浅层的对齐信息+全局语义，就能输出符合目标语言规则的token；
• 即使深层没有直观的token对齐，只要浅层的对齐信息被有效整合到深层表示中，模型就能完成正确翻译。

四、验证建议 #

• 计算对齐错误率（AER），用定量指标验证不同层的对齐效果，避免仅依赖可视化的主观判断；
• 冻结前两层参数，观察模型翻译性能的下降幅度，验证浅层对齐对模型的核心作用；
• 查阅目标MarianMT模型的训练配置，确认是否使用了蒸馏、量化等轻量化策略，这些会直接影响深层注意力的模式。

内容的提问来源于stack exchange，提问作者Ayw