为何LayerNorm采用有偏标准差估计器而非无偏估计器？

• 计算更高效：有偏估计直接除以特征维度数d，不用额外计算d-1，大规模模型训练时，这点简化能累积出不少速度提升。
• 避免过度放大标准差：无偏估计的分母是d-1，会让计算出的标准差偏大。而LayerNorm的核心目的是稳定激活值分布，有偏估计的结果更贴合当前特征的真实离散程度，不会因为分母减一导致后续缩放激活值时出现过度调整。
• 训练稳定性更好：深度学习训练过程中，有偏估计的数值表现更平稳。尤其是当特征维度d较大时，d和d-1的差异微乎其微，两种估计结果几乎没有区别，但有偏估计的计算更简洁，不会引入额外的数值波动。
• 和BatchNorm的设计逻辑对齐：BatchNorm在计算时同样采用有偏估计（除以批量大小m而非m-1），LayerNorm沿用这套思路，既能保持归一化操作的一致性，也能降低工程实现的适配成本。

内容的提问来源于stack exchange，提问作者max_max_mir