BatchNorm反向传播更新错误：请求排查dx部分问题

先明确BatchNorm正向计算流程（方便对应反向推导）：

sample_mean = np.mean(x, axis=0)
sample_var = np.var(x, axis=0, ddof=0)  # 注：BatchNorm通常使用有偏方差估计
norm = (x - sample_mean) / np.sqrt(sample_var + eps)
output = gamma * norm + beta

反向传播中，已知上游梯度dout，我们来一步步排查你代码中dx计算的问题：

1. 已正确的部分 #

你的代码里这两个梯度计算是没问题的：

• dbeta = np.sum(dout, axis = 0)：beta是逐元素加在输出上，梯度直接对样本维度求和即可
• dgamma = np.sum(dout * norm, axis = 0)：gamma是逐元素乘norm，梯度是dout与norm的乘积对样本维度求和

2. dx计算的错误点分析 #

错误1：dvar的计算缺失关键因子 #

你当前的dvar代码：

dvar = np.sum(dout * gamma * (x - sample_mean), axis = 0)

这部分遗漏了对var的偏导项。根据链式法则，dout到dvar的路径是：dout → d(output) → d(norm) → d(var)，其中d(norm)/d(var) = (x - sample_mean) * (-1/2) * (sample_var + eps) ** (-3/2)，所以正确的dvar应该是：

dvar = np.sum(dout * gamma * (x - sample_mean) * (-1/2) * (sample_var + eps) ** (-3/2), axis=0)

错误2：dxvar的计算（你代码中未写完） #

dvar需要进一步传递到dx，因为var = 1/N * sum((x - sample_mean)^2)，所以d(var)/d(x) = (2/N) * (x - sample_mean)，因此：

dxvar = dvar * (2 / x.shape[0]) * (x - sample_mean)

错误3：dx的最终组合 #

dx是三部分梯度的总和：

1. 直接从norm传递来的梯度：dxminus = dout * gamma / np.sqrt(sample_var + eps)（这部分你是对的）
2. 从sample_mean传递来的梯度：dxmean = np.full(x.shape, 1.0/x.shape[0]) * dmean（这部分你是对的，其中dmean = -np.sum(dxminus, axis=0)也正确）
3. 从sample_var传递来的梯度：dxvar（上面推导的正确形式）

所以最终的dx需要把这三部分加起来：

dx = dxminus + dxmean + dxvar

修正后的完整dx相关代码 #

(x, norm, sample_mean, sample_var, gamma, eps) = cache
N = x.shape[0]

# 已正确的梯度计算
dbeta = np.sum(dout, axis=0)
dgamma = np.sum(dout * norm, axis=0)

# 计算dx的各组成部分
dxminus = dout * gamma / np.sqrt(sample_var + eps)
dmean = -np.sum(dxminus, axis=0)
dxmean = np.full(x.shape, 1.0 / N) * dmean

# 修正dvar与dxvar的计算
dvar = np.sum(dout * gamma * (x - sample_mean) * (-1/2) * (sample_var + eps) ** (-3/2), axis=0)
dxvar = dvar * (2 / N) * (x - sample_mean)

# 合并得到最终的dx
dx = dxminus + dxmean + dxvar

验证小贴士 #

你可以通过数值梯度检查来验证正确性：随机生成x、gamma、beta，计算正向输出后，对x的每个元素施加微小扰动，计算输出的变化率，和反向传播得到的dx对比，看两者是否近似一致。

内容的提问来源于stack exchange，提问作者srinadhu k