PyTorch是否提供无可学习参数的内置层归一化实现？

PyTorch 框架自带不带可学习参数的层归一化实现，直接用原生LayerNorm配置参数即可，不需要额外手写。

初始化torch.nn.LayerNorm的时候，把elementwise_affine参数设为False就行。这个参数默认是True，也就是你提到的带可学习参数的版本，计算公式里的γ、β两个可学习缩放、偏移项会参与计算；设为False后，这个层不会生成任何可训练参数，只会做最基础的归一化计算：在指定维度上对输入减均值、除以（标准差加极小值epsilon），不会做后续的逐元素仿射变换，正好是你要的无参数版本。

示例代码：

import torch

# 初始化无参数层归一化，这里假设归一化的特征维度为512
ln_no_param = torch.nn.LayerNorm(normalized_shape=512, elementwise_affine=False)

# 验证可训练参数数量，此时输出为0
print(sum(p.numel() for p in ln_no_param.parameters()))

# 前向推理用法和普通层归一化完全一致
dummy_input = torch.randn(8, 32, 512)
output = ln_no_param(dummy_input)

如果你不想实例化模块，也可以直接用函数式接口torch.nn.functional.layer_norm，传入weight=None、bias=None就能直接实现无参数的层归一化计算，使用更灵活。

内容的提问来源于stack exchange，提问作者Foobar