反向传播神经网络输出异常求助：输入参数不影响输出结果

• 近期在为之前编写的神经网络代码添加反向传播（Backpropagation）功能，反复核对数学推导后发现功能异常：无论输入参数如何，网络输出始终相近。
• 具体表现：添加权重/偏置的delta后，网络输出类似Correct: 1, 0, Predicted: 0.996989, 0.953245，即使输入相反，仍输出两个高值。
• 简化测试验证：设计单输入测试场景（输入>2则输出1，否则输出0），单输入下数学推导正确（误差降低），但更换输入后delta仍为正，输出持续升高，推测是代码问题，多次排查无果，寻求帮助。

附数学推导过程 #

w1 .9
b1 .3
w2 1.3
b2 0.1

（输入i1>2时正确输出为1，否则为0）
i1 = 输入值，a = (w * 层输入) + b，z = sigmoid(a)，e = (正确输出 - 预测输出)^2

i1 = 3
a1 = 3
z1 = .952

a2 = 1.338
z2 = .7922

e = .0431

z2对e的偏导 = -.7491
a2对z2的偏导 = 0.2179

w2对e的偏导 = .2074
b2对e的偏导 = .2179

z1对a2的偏导 = .28327
a1对z1的偏导 = 0.24505

w1对e的偏导 = .73515
b1对e的偏导 = .24505

--调整后（学习率ε=0.1）--

w1 .973515
b1 .324505
w2 1.32074
b2 0.12179

i1 = 3
a1 = 3.24505
z1 = 0.962494833445

a2 = 1.3929954263241493
z2 = 0.801070015356

e = .039601

内容的提问来源于stack exchange，提问作者Jheran Bull