批量序列填充对Transformer性能的影响及注意力掩码有效性探究

1. PyTorch计算Transformer时，填充token是否会降低计算速度？ #

• 肯定会。PyTorch里的Transformer（包括原生nn.Transformer和Hugging Face的预训练模型）默认会先对所有token（包括填充的）完成完整的矩阵运算，之后才用掩码过滤填充部分的影响。如果填充占比高，等于做了大量无用计算，直接拖慢速度。
• 另外，填充还会浪费GPU的并行算力，因为GPU是按张量的固定维度做并行计算的，填充后的长序列会让每个批次的计算量冗余增加，没法最大化利用硬件性能。

2. 注意力掩码能否让模型有效跳过填充token，仅产生极小性能影响？ #

• 做不到“跳过”计算，只能在逻辑上忽略填充token的影响。注意力掩码的作用是把填充token对应的注意力分数设为负无穷，经过softmax后这些分数会趋近于0，模型不会关注填充token，但矩阵乘法、softmax这些核心运算还是会包含所有填充token的计算。
• 所以填充比例高时，性能损耗还是很明显，掩码只能保证模型输出正确，解决不了计算冗余的问题。

3. 注意力掩码整体有效性如何？若掩码仅10%非零值，计算量能否降至约10%？ #

• 从模型效果层面看，注意力掩码是有效的：它能确保模型不会学习填充token的无效信息，避免模型性能退化。但从计算量优化的角度，它几乎没作用。
• 哪怕掩码只有10%非零值，计算量也不会降到10%。标准注意力计算是基于整个序列的张量运算，掩码只是在运算完成后过滤结果，并没有改变运算的维度和规模。如果要真正削减计算量，得用专门的稀疏注意力实现（比如FlashAttention的优化方案、或者专门的稀疏注意力库），这不是普通注意力掩码能做到的。

内容的提问来源于stack exchange，提问作者landings