纯Python计算神经网络梯度:基于ReLU网络的反向传播推导疑问
基础前提
- 网络结构:输入维度4,3个6神经元隐藏层(ReLU激活),输出维度1(无激活,回归任务)
- 损失函数:批量均方误差(MSE),定义为
err = ((Y - T)**2).mean(),批量大小为N=len(X) - 符号约定:第$l$层预激活值为$Z_l$,激活值为$A_l$,权重为$W_l$,偏置为$B_l$,ReLU激活函数 $f(z)=\max(0,z)$,导数为$1$($z>0$时)、$0$($z\leq0$时)
- 反向传播核心逻辑为链式求导法则,从输出端往输入端逐层递推参数导数
输出层(第4层)梯度逐行推导
对应参考代码:
DY = 2*(Y-T) DB4 = DY.mean(axis=0) DW4 = A3.T.dot(DY) / len(X) DZ3 = DY.dot(W4.T)*(Z3 > 0)
1. DY = 2*(Y-T)
DY是损失对输出$Y$的导数 $\frac{\partial L}{\partial Y}$。
损失展开为 $L = \frac{1}{N}\sum_{i=1}^N (Y_i-T_i)^2$,对$Y_i$求导得 $\frac{\partial L}{\partial Y_i} = \frac{2}{N}(Y_i-T_i)$。代码中提前省略了除以$N$的操作,后续计算权重、偏置梯度时会统一除以批量大小,避免重复计算。
2. DB4 = DY.mean(axis=0)
DB4是损失对输出层偏置$B_4$的导数 $\frac{\partial L}{\partial B_4}$。
输出层前向公式为 $Y = A_3 \cdot W_4 + B_4$,偏置直接叠加到输出上,即 $\frac{\partial Y_i}{\partial B_4}=1$。
根据链式法则:$\frac{\partial L}{\partial B_4} = \frac{1}{N}\sum_{i=1}^N \frac{\partial L}{\partial Y_i}$,对应所有样本的DY沿样本轴取平均。
3. DW4 = A3.T.dot(DY) / len(X)
DW4是损失对输出层权重$W_4$的导数 $\frac{\partial L}{\partial W_4}$。
前向公式展开为 $Y_{i,j} = \sum_{k=1}^6 A_{3,i,k} \cdot W_{4,k,j} + B_{4,j}$(输出维度$j=1$),对$W_{4,k,j}$求导得 $\frac{\partial Y_{i,j}}{\partial W_{4,k,j}} = A_{3,i,k}$。
根据链式法则求和取平均:$\frac{\partial L}{\partial W_{4,k,j}} = \frac{1}{N}\sum_{i=1}^N \frac{\partial L}{\partial Y_{i,j}} \cdot A_{3,i,k}$,矩阵运算等价于前一层激活值转置乘DY后除以批量大小。
4. DZ3 = DY.dot(W4.T)*(Z3 > 0)
DZ3是损失对第3隐藏层预激活值$Z_3$的导数 $\frac{\partial L}{\partial Z_3}$,是反向递推的中间量。
推导分两步:
- 先求损失对第3层激活值$A_3$的导数:$\frac{\partial L}{\partial A_3} = \frac{\partial L}{\partial Y} \cdot \frac{\partial Y}{\partial A_3} = DY \cdot W_4^T$,对应
DY.dot(W4.T) - 再乘ReLU激活的导数掩码:$\frac{\partial A_3}{\partial Z_3} = (Z_3 > 0)$,即$Z_3$大于0时导数为1,否则为0
剩余层梯度推导(同链式逻辑)
第3隐藏层(对应W3、B3)
# 偏置梯度:对DZ3沿样本轴取平均 DB3 = DZ3.mean(axis=0) # 权重梯度:前一层激活A2转置乘DZ3,除以批量大小 DW3 = A2.T.dot(DZ3) / len(X) # 递推下一层预激活导数:DZ3乘W3转置,再乘第2层ReLU掩码 DZ2 = DZ3.dot(W3.T) * (Z2 > 0)
第2隐藏层(对应W2、B2)
DB2 = DZ2.mean(axis=0) DW2 = A1.T.dot(DZ2) / len(X) DZ1 = DZ2.dot(W2.T) * (Z1 > 0)
第1隐藏层(对应W1、B1)
DB1 = DZ1.mean(axis=0) DW1 = X.T.dot(DZ1) / len(X)
前向传播代码修正
你定义参数为W1-W4、B1-B4,但前向传播代码使用了W[0]、B[0]的索引形式,需补充封装代码才能正常运行:
# 将单独定义的参数封装为列表,匹配前向传播索引逻辑 W = [W1, W2, W3, W4] B = [B1, B2, B3, B4]
内容的提问来源于stack exchange,提问作者Pazu

