批量归一化计算均值方差的维度及PyTorch BatchNorm1d参数疑问

1. 批量归一化的核心计算规则 #

首先可以明确：PyTorch的实现完全没有违背原论文设定，二者逻辑是一致的。
原论文提到的「沿批次维度归一化」是缩略表述，完整规则为：

• 针对每一个独立的特征/隐藏维度，单独在当前批次内的所有样本对应位置的该特征值上计算均值和标准差，不是把所有特征混在一起沿批次计算。

举个实际场景的例子：假设全连接层输出的张量形状为(N, C)，其中N是批次大小，C是隐藏维度/特征数：

• 对第1个特征维度，取N个样本的所有第1位特征值，计算均值μ₁和标准差σ₁
• 对第2个特征维度，取N个样本的所有第2位特征值，计算均值μ₂和标准差σ₂
• 以此类推，直到C个特征都完成各自的统计量计算，再分别对每个特征做归一化、缩放平移操作。

2. PyTorch torch.nn.BatchNorm1d 中num_features参数的作用 #

这个参数的存在恰恰是为了贴合原论文的要求，核心原因如下：

• 批量归一化的可学习参数（缩放系数γ、偏移系数β），以及推理阶段使用的滑动平均统计量（滑动均值、滑动方差），都是每个特征维度单独存储一组的，PyTorch需要提前获知特征数量才能初始化对应维度的参数
• 实际前向计算时，PyTorch会自动沿批次维度（以及BatchNorm2d/BatchNorm3d对应的空间维度）计算每个特征的统计量，和原论文描述的计算逻辑完全一致。

3. 常见误区澄清 #

很多开发者混淆的核心点是搞反了分组维度和统计维度：

批量归一化的统计量计算维度是除了特征维度之外的所有维度，特征维度本身是独立分组的维度，不是统计量的计算维度。

比如BatchNorm1d支持两种输入形状：

• 全连接场景输入(N, C)：统计量沿N维度计算，每个C维度单独分组
• 时序场景输入(N, C, L)：统计量沿N、L两个维度计算，每个C维度单独分组
  两种场景都只需要传入num_features=C即可，PyTorch内部会自动处理剩余维度的统计计算。

内容的提问来源于stack exchange，提问作者Arthur Zakirov