关于GPT模型中Padding掩码的若干技术疑问

首先明确：你贴的这段Hugging Face GPT源码里的bias是因果掩码，作用是实现Transformer Decoder的单向注意力机制，确保每个位置只能看到自身及之前的token，和padding token的掩码是完全不同的两个概念。

1. 仅在损失计算忽略padding、注意力不掩码的做法是否正确？ #

这种做法不正确，会对训练结果产生负面影响：

• 注意力计算时不掩码padding，模型会将无意义的padding token当成有效输入，计算真实token与padding的注意力权重，导致模型学习到无意义的上下文关联，干扰对真实文本特征的建模。
• 虽然损失计算时跳过了padding的部分，但注意力层的错误交互已经让模型的中间特征出现偏差，长期训练会降低模型的学习效率，最终影响生成质量。

2. padding token的embedding在训练中是否会变化？ #

• 默认情况下会变化：padding token的embedding和其他token一样，属于模型可训练参数，会参与反向传播更新——除非你手动设置它的requires_grad=False来固定参数。
• 但如果正确对padding进行注意力掩码，同时损失计算忽略padding，那么padding token几乎没有对应的损失信号驱动更新，它的embedding会维持在初始值附近，变化非常微弱；反之，如果不掩码padding，模型会不断学习padding的特征，导致padding embedding的更新方向偏离预期。

内容的提问来源于stack exchange，提问作者LocustNymph