Transformer分类层softmax为何不需要像自注意力那样对输入做缩放？

• 两者的输入数值分布的产生逻辑完全不同，这是核心原因：

  原论文中提到的「点积数值幅度过大推高softmax饱和风险」问题，本质是自注意力的Q、K向量点积计算的固有特性导致的。
  假设Q、K都是维度为d_k、每个元素服从均值0、方差1独立分布的向量，二者点积的结果方差恰好等于d_k：维度越高，点积结果的波动范围越大，很容易出现绝对值极大的极值，把softmax输出推到接近0或1的饱和区域，最终出现梯度消失问题。这个问题是计算逻辑自带的，和模型训练过程无关，必须人为加1/√d_k的缩放系数，把点积结果的方差拉回1才能避免。

• 分类层的softmax输入不存在上述固有方差爆炸问题：
  分类层的输入是Transformer输出端经过LayerNorm之后的特征经过线性投影得到的类别logit：
  1. LayerNorm已经把输入特征约束在均值0、方差1的分布范围内，后续线性层的权重初始化也会控制输出的方差不会无限制放大；
  2. 分类层直接对接交叉熵损失，如果logit数值过大，交叉熵损失会快速升高，对应的梯度会直接修正分类层的权重，自动把logit拉回合理的数值范围，不需要人为额外加缩放。
• 补充：其他常用场景下的softmax也不需要缩放的原因和分类层一致，输入都不存在「随维度线性上涨的方差爆炸」的固有计算问题，要么被前置归一化约束了范围，要么被损失函数的梯度自动校准了数值区间，只有自注意力的点积计算存在这个必须提前解决的固有问题。

内容的提问来源于stack exchange，提问作者zZer0o