为何批量归一化（Batch Normalization）中的梯度检查失效？

首先，这种只在启用BN时梯度检查失败的情况太常见了——毕竟BN的梯度推导比普通全连接层复杂不少，而且你已经排除了动量、正则化这些干扰项，问题肯定出在BN模块本身的前向/反向逻辑里。

结合你写的单模块梯度检查代码，我整理几个最容易踩坑的点，帮你快速定位问题：

1. 训练模式没开对，误用了推理阶段的统计值 #

批量归一化在训练和推理时的行为完全不同：训练用当前批次计算的均值/方差，推理用全局移动平均的均值/方差。如果你的梯度检查代码里没把BN层设为训练模式，或者不小心更新了移动平均统计值，那前向计算的基础就错了，反向梯度自然对不上。

• 快速检查：在梯度检查的单次迭代里，暂时冻结移动平均的更新（甚至可以直接不用移动平均，毕竟是单模块测试），确保前向用的是当前批次实时算出的mu和var。

2. 反向传播的梯度推导细节算错了 #

BN的反向梯度涉及好几层链式求导，这里有几个高频错误点：

• 方差梯度的分母处理：计算方差的梯度时，别忘了sqrt(var + eps)的导数是0.5*(var+eps)^(-0.5)，反向时会变成负的半次方，很多人在这里漏掉符号或者指数写错。
• 批量大小的除法位置：计算输入x的梯度时，dmu和dvar的部分都要除以batch_size，要是把除法放到了求和之前，结果就会差一个数量级。
• 给你贴一段标准的BN反向梯度计算参考（和你的单模块逻辑对齐）：

  eps = 1e-5
  batch_size = x.shape[0]
  
  # 前向缓存的变量：mu（批次均值）、var（批次方差）、x_norm（归一化输入）
  mu = np.mean(x, axis=0)
  var = np.var(x, axis=0)
  x_norm = (x - mu) / np.sqrt(var + eps)
  
  # 假设dout是上层传来的梯度
  dgamma = np.sum(dout * x_norm, axis=0)
  dbeta = np.sum(dout, axis=0)
  
  dx_norm = dout * gamma
  dvar = np.sum(dx_norm * (x - mu) * (-0.5) * (var + eps)**(-1.5), axis=0)
  dmu = np.sum(dx_norm * (-1) / np.sqrt(var + eps), axis=0) + dvar * np.mean(-2*(x - mu), axis=0)
  dx = dx_norm / np.sqrt(var + eps) + dvar * 2*(x - mu)/batch_size + dmu/batch_size
  

  你可以把这段和自己的代码逐行对比，尤其是每一项的系数和求和维度。

3. 数值梯度的扰动设置不合理 #

梯度检查时的epsilon取值很关键，一般建议用1e-5到1e-7。如果epsilon太大，会引入数值误差；太小的话，浮点数精度不够也会导致结果不准。

• 另外，计算数值梯度时，一定要保证每次扰动后的前向传播是独立的——别复用之前的缓存，否则会干扰结果。

4. 先从简单参数的梯度开始排查 #

与其一开始就检查输入x的梯度，不如先检查γ和β的梯度：

• γ的梯度应该是dout * x_norm在批量维度上的求和，β的梯度是dout在批量维度上的求和。用数值梯度法验证这两个参数的梯度是否正确，如果这部分都对，那问题就出在输入x的梯度计算上；如果不对，那就是最基础的反向逻辑错了。

最后给个小技巧：可以手动找一组极小的输入（比如batch_size=2，特征数=1），手动计算前向和反向的结果，再和代码输出对比，很容易就能找到哪一步错了。

内容的提问来源于stack exchange，提问作者Arnaldo Gualberto