为何BERT Base的LayerNorm层参数为768而非512？

你的核心误解来自对LayerNorm计算维度的理解偏差——BERT里的LayerNorm是针对每个token的特征维度做归一化，而非针对token数量，这就是参数是768的原因：

• LayerNorm的计算逻辑：
  输入中的每个token对应一个768维的特征向量。LayerNorm会对这个向量的768个维度单独计算均值和标准差完成归一化，再用一组可学习的权重（γ）和偏置（β）做缩放和平移。这组γ和β的维度和特征维度完全一致，也就是768，和输入的token数量（哪怕是最大的512）没有关系。

• 视频表述的歧义：
  你提到的视频说法存在表述偏差。LayerNorm不是“每个token对应一组权重偏置”，而是每个特征维度对应一个权重和偏置。不管输入有多少个token，所有token都会共享这768组权重偏置参数。

• 代码输出验证：
  你的代码中，每个param对应的是LayerNorm的权重或偏置其中一项，所以单个param的参数数量是768。实际上每个LayerNorm层总共有768*2=1536个参数（权重+偏置），你可以运行代码后观察到每个LayerNorm下会有两个这样的参数项。

总结：LayerNorm的参数维度由模型的特征维度（BERT Base为768）决定，和输入的token数量无关，这是Transformer架构中LayerNorm的标准实现方式。

内容的提问来源于stack exchange，提问作者Fijoy Vadakkumpadan