训练自定义Python简易神经网络时Loss未下降问题求助

嘿，我之前手写神经网络的时候也踩过这个坑！训练时损失纹丝不动真的挺闹心的，咱们一步步来排查可能的问题：

• 学习率设置不合理
  这是最容易踩的坑之一。如果学习率太大，参数更新会在最优解附近疯狂震荡，甚至直接发散；如果太小，参数几乎没变化，损失自然纹丝不动。你可以先试试把学习率调小几个数量级（比如从0.1改成0.001），或者逐步增大测试。记得每轮训练后打印一下参数的变化值，确认参数确实在更新——如果参数完全没动，那大概率是学习率太小或者梯度计算有问题。

• 激活函数出问题
  如果你用了sigmoid这类饱和激活函数，要注意是不是输入值太大导致神经元“饱和”了——这时候激活函数的导数接近0，梯度直接消失，参数根本没法更新。另外，检查激活函数的实现有没有写错，比如sigmoid的公式是不是1/(1+np.exp(-x))，别把符号搞反了！要是隐藏层用了sigmoid，不妨换成ReLU试试，它能有效缓解梯度消失问题，说不定损失就开始下降了。

• 损失函数与梯度计算错误
  你用的是最小平方和（LSS）损失，二分类场景下的公式应该是0.5 * np.sum((y_pred - y_true)**2)（加0.5是为了求导后抵消掉平方的系数）。反向传播的梯度计算是手写神经网络最容易出错的地方，建议你拿一个超简单的例子手动计算：比如输入[0, 0]，标签1，先手动算前向传播的输出，再一步步推反向传播的梯度，和代码里的结果对比，确认梯度没有算错。

• 数据预处理不到位
  你的二维数据集有没有做归一化？如果两个特征的数值范围差很大（比如一个是0-1，另一个是0-1000），梯度更新会被数值大的特征牵着走，训练肯定不稳定。试试把所有特征缩放到[0,1]或者[-1,1]区间再训练。另外，标签编码对不对？二分类任务标签应该是0和1，别写成1和2，不然损失计算逻辑就乱了。

• 参数初始化错误
  要是参数初始化得太大，激活函数的输入值会直接进入饱和区，梯度直接消失。建议用小范围的随机值初始化，比如np.random.randn(n_input, n_hidden) * 0.01（用正态分布生成后乘以0.01缩小范围）。另外，绝对不能把所有参数初始化为0——这样所有神经元的输出会完全一样，反向传播时梯度也相同，模型根本学不到任何特征。

• 训练轮数不够
  有时候不是损失不下降，而是下降得太慢，你还没等到它开始变化。可以把训练轮数调到几百甚至几千轮，同时每10轮打印一次损失值，观察趋势——如果损失在缓慢下降，那就是轮数不够；如果完全没动静，再去排查其他问题。

内容的提问来源于stack exchange，提问作者Michael Georgescu