Transformer模型中[PAD] token的嵌入权重是否有用？能否设为零？

一、[PAD]嵌入权重的实际作用 #

多头注意力层会通过mask机制忽略[PAD]的注意力计算，但它的嵌入权重并非毫无用处：

• 训练阶段的计算一致性：批量训练时所有输入序列都会被padding到相同长度，[PAD]的嵌入会参与注意力之外的前向计算环节（比如前馈网络层）。如果直接将这部分权重设为零，会打破张量计算的一致性，容易导致模型训练波动甚至无法收敛。
• 预训练与下游任务的隐性适配：预训练阶段[PAD]作为输入的一部分，参与整体计算以维持输入分布的合理性；部分下游任务（比如采用平均池化做分类的场景）即便做了mask处理，[PAD]嵌入经过前层计算后的结果也可能间接影响最终输出，模型会通过训练自动调整这部分权重来降低其负面影响，而非完全消除它。

二、将[PAD]权重设为零是否合理？ #

不建议直接将[PAD]的嵌入权重设为零，核心原因如下：

• 干扰训练收敛：强行把某一行参数固定为零，相当于人为缩小了模型的参数空间，训练过程中容易出现梯度异常，进而影响模型的收敛效果。
• 不必要的逻辑干预：预训练阶段模型已经学会了处理[PAD]的逻辑，注意力mask已经隔绝了它对注意力计算的干扰，后续网络层中模型也会自动弱化它的影响。强行置零反而可能破坏模型原本的学习逻辑，得不偿失。
  当然，如果是极端定制化任务，且能100%确认[PAD]嵌入不会对任何计算环节产生影响，同时置零能节省微小的计算资源，那可以尝试，但这种场景极少，不适合作为常规操作。

查看[PAD]嵌入权重的方法 #

可以通过以下代码查看目标权重：

model.base_model.embeddings.word_embeddings.weight[PAD_ID]

通常PAD_ID=0，具体数值以模型的实际配置为准。

内容的提问来源于stack exchange，提问作者Bas Krahmer