为何批量归一化（BatchNorm）层输出总和不为1？

你的猜测完全正确——默认的BatchNorm操作（即使带可学习参数）第一步会把输入的均值拉到0，这就是你看到输出总和接近0的核心原因（总和=均值×元素数量，均值为0时总和自然为0）。

BatchNorm核心计算逻辑拆解 #

以nn.BatchNorm2d为例，它是按通道独立执行归一化的，针对输入形状$(N, C, H, W)$，每个通道会单独处理当前批次内所有$N×H×W$个元素，步骤如下：

1. 计算该通道内所有元素的均值$\mu_B$和方差$\sigma_B^2$
2. 执行基础归一化：$\hat{x} = \frac{x - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}$，这一步直接将该通道输出的均值拉到0、方差拉到1
3. （默认affine=True时）应用可学习的缩放参数$\gamma$和偏移参数$\beta$：$y = \gamma \hat{x} + \beta$

你代码里用的是默认设置，而刚初始化的模型中$\gamma$默认值为1、$\beta$默认值为0，所以第三步相当于没有改变结果，最终输出就是第二步的归一化结果，均值自然为0，总和也就趋近于0。

关于“每个通道生成对应分布”的问题 #

没错，BatchNorm就是按通道独立生成归一化分布的：

• 如果输入是3通道的图像$(N,3,H,W)$，BatchNorm会分别对R、G、B三个通道计算各自批次内的均值和方差，每个通道都会生成属于自己的0均值、1方差（初始状态）的分布。
• 你的例子中通道数为1，所以只针对这一个通道的8个元素做归一化处理，最终输出就是该通道归一化后的结果。

手动验证你的代码 #

固定seed=0时，输入的所有元素为：

torch.manual_seed(0)
input = torch.randn(2,1,2,2)
print(input.flatten())
# 输出：tensor([ 1.5410, -0.2934, -2.1788,  0.5684, -1.0845, -1.3986,  0.4033,  0.8380])

计算该通道的均值：$(1.5410-0.2934-2.1788+0.5684-1.0845-1.3986+0.4033+0.8380)/8 ≈ -0.2624$
经过基础归一化步骤后，所有元素的均值被拉到0，总和自然为0，和你看到的输出完全一致。

内容的提问来源于stack exchange，提问作者bonl