You need to enable JavaScript to run this app. 纯Python计算神经网络梯度:基于ReLU网络的反向传播推导疑问
优惠活动
大模型
产品
解决方案
定价
更多

纯Python计算神经网络梯度:基于ReLU网络的反向传播推导疑问

梯度推导逻辑说明

基础前提

  • 网络结构:输入维度4,3个6神经元隐藏层(ReLU激活),输出维度1(无激活,回归任务)
  • 损失函数:批量均方误差(MSE),定义为 err = ((Y - T)**2).mean(),批量大小为N=len(X)
  • 符号约定:第$l$层预激活值为$Z_l$,激活值为$A_l$,权重为$W_l$,偏置为$B_l$,ReLU激活函数 $f(z)=\max(0,z)$,导数为$1$($z>0$时)、$0$($z\leq0$时)
  • 反向传播核心逻辑为链式求导法则,从输出端往输入端逐层递推参数导数

输出层(第4层)梯度逐行推导

对应参考代码:

DY = 2*(Y-T)
DB4 = DY.mean(axis=0)
DW4 = A3.T.dot(DY) / len(X)
DZ3 = DY.dot(W4.T)*(Z3 > 0)

1. DY = 2*(Y-T)

DY是损失对输出$Y$的导数 $\frac{\partial L}{\partial Y}$。
损失展开为 $L = \frac{1}{N}\sum_{i=1}^N (Y_i-T_i)^2$,对$Y_i$求导得 $\frac{\partial L}{\partial Y_i} = \frac{2}{N}(Y_i-T_i)$。代码中提前省略了除以$N$的操作,后续计算权重、偏置梯度时会统一除以批量大小,避免重复计算。

2. DB4 = DY.mean(axis=0)

DB4是损失对输出层偏置$B_4$的导数 $\frac{\partial L}{\partial B_4}$。
输出层前向公式为 $Y = A_3 \cdot W_4 + B_4$,偏置直接叠加到输出上,即 $\frac{\partial Y_i}{\partial B_4}=1$。
根据链式法则:$\frac{\partial L}{\partial B_4} = \frac{1}{N}\sum_{i=1}^N \frac{\partial L}{\partial Y_i}$,对应所有样本的DY沿样本轴取平均。

3. DW4 = A3.T.dot(DY) / len(X)

DW4是损失对输出层权重$W_4$的导数 $\frac{\partial L}{\partial W_4}$。
前向公式展开为 $Y_{i,j} = \sum_{k=1}^6 A_{3,i,k} \cdot W_{4,k,j} + B_{4,j}$(输出维度$j=1$),对$W_{4,k,j}$求导得 $\frac{\partial Y_{i,j}}{\partial W_{4,k,j}} = A_{3,i,k}$。
根据链式法则求和取平均:$\frac{\partial L}{\partial W_{4,k,j}} = \frac{1}{N}\sum_{i=1}^N \frac{\partial L}{\partial Y_{i,j}} \cdot A_{3,i,k}$,矩阵运算等价于前一层激活值转置乘DY后除以批量大小。

4. DZ3 = DY.dot(W4.T)*(Z3 > 0)

DZ3是损失对第3隐藏层预激活值$Z_3$的导数 $\frac{\partial L}{\partial Z_3}$,是反向递推的中间量。
推导分两步:

  • 先求损失对第3层激活值$A_3$的导数:$\frac{\partial L}{\partial A_3} = \frac{\partial L}{\partial Y} \cdot \frac{\partial Y}{\partial A_3} = DY \cdot W_4^T$,对应DY.dot(W4.T)
  • 再乘ReLU激活的导数掩码:$\frac{\partial A_3}{\partial Z_3} = (Z_3 > 0)$,即$Z_3$大于0时导数为1,否则为0

剩余层梯度推导(同链式逻辑)

第3隐藏层(对应W3、B3)

# 偏置梯度:对DZ3沿样本轴取平均
DB3 = DZ3.mean(axis=0)
# 权重梯度:前一层激活A2转置乘DZ3,除以批量大小
DW3 = A2.T.dot(DZ3) / len(X)
# 递推下一层预激活导数:DZ3乘W3转置,再乘第2层ReLU掩码
DZ2 = DZ3.dot(W3.T) * (Z2 > 0)

第2隐藏层(对应W2、B2)

DB2 = DZ2.mean(axis=0)
DW2 = A1.T.dot(DZ2) / len(X)
DZ1 = DZ2.dot(W2.T) * (Z1 > 0)

第1隐藏层(对应W1、B1)

DB1 = DZ1.mean(axis=0)
DW1 = X.T.dot(DZ1) / len(X)

前向传播代码修正

你定义参数为W1-W4、B1-B4,但前向传播代码使用了W[0]、B[0]的索引形式,需补充封装代码才能正常运行:

# 将单独定义的参数封装为列表,匹配前向传播索引逻辑
W = [W1, W2, W3, W4]
B = [B1, B2, B3, B4]

内容的提问来源于stack exchange,提问作者Pazu

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.29 19:36:01