反向传播(Backpropagation)算法推导前期步骤正确性核验咨询
反向传播推导步骤校验结果
- 误差函数正确性:你定义的是单样本场景下的均方误差,
E = 1/2(t - y)²的形式完全正确。前面的1/2系数是反向传播推导的常规写法,作用是抵消后续求导时平方项产生的系数2,简化计算过程。如果后续要拓展到批量训练,只需要在此基础上新增1/N的样本平均系数即可,当前单样本推导的误差定义没有问题。 - 输出层权重偏导推导正确性:你计算的偏导数数学形式完全符合规范,推导逻辑严格遵循链式法则:先计算误差对最终输出的偏导,再传导到输出层激活函数的导数,最后映射到对应权重的输入项,整个推导步骤没有错误。
- 隐藏层权重z的偏导推导提示:后续求z的偏导时继续沿用链式法则即可,传导路径为:误差对输出层输出求导→输出层输出对隐藏层输出求导→隐藏层输出对隐藏层激活函数输入求导→激活输入对对应权重z求导,注意不要遗漏隐藏层激活函数的导数项即可完成推导。
内容的提问来源于stack exchange,提问作者KTSB
相关产品推荐
相关产品推荐

