采用Input-ReLU-SoftMax-交叉熵的神经网络权重与激活值无界增长问题

嘿，我来帮你拆解这个ReLU导致权重和激活值疯长的问题——我之前手撸神经网络的时候也踩过一模一样的坑，太懂这种程序突然崩掉的挫败感了！

先对齐下你的网络情况：

• 3层结构：MNIST输入层（784神经元）→ 30神经元的ReLU隐藏层 → Softmax输出层（10分类）
• 交叉熵损失，纯手写无外部库，用tanh时能跑到~96%准确率，但换ReLU就触发数值异常

ReLU的特性就是罪魁祸首：它的表达式是f(x) = max(0, x)，和tanh把输出死死限制在(-1,1)区间不同，当输入为正时，ReLU完全不做压缩，直接输出原数值，而且梯度固定为1。这就导致两个连锁反应：

• 激活值没有上限，训练几轮后隐藏层的输出会越来越大
• 反向传播时梯度不会被衰减，加上如果初始权重设得太大，权重更新会不断累加，最终突破数值范围导致程序异常

给你几个按优先级排序的方案，上手就能试：

• 调整权重初始化方式：ReLU对初始权重特别敏感，别用均匀分布或者太大的正态分布值。试试He初始化（专门给ReLU设计的），公式是：

  权重 = 随机正态分布(均值=0, 标准差=sqrt(2/输入神经元数量))
  

  对你的隐藏层来说，输入是784个神经元，标准差就是sqrt(2/784)≈0.05，这样初始激活值会落在一个合理的区间，不会一开始就全是大正数。
• 加L2正则化：在交叉熵损失里额外加一项λ * 0.5 * sum(所有权重的平方)，λ可以先试0.001或者0.01。这相当于给模型加了个“权重不能太大”的惩罚，强制权重保持在可控范围内。
• 梯度裁剪：反向传播算出梯度后，先计算梯度的L2范数，如果超过你设定的阈值（比如1.0），就把所有梯度按比例缩小，让范数刚好等于阈值。这样能直接阻止过大的梯度导致权重跳变。
• 试试Leaky ReLU：把标准ReLU改成f(x) = max(0.01*x, x)，给负输入一个微小的斜率，虽然不是解决这个问题的核心，但能避免部分神经元“死亡”，也能稍微缓解梯度单一的问题。

训练时可以每隔几轮打印一下隐藏层激活值的均值、标准差，还有权重的均值、标准差。如果一开始激活值就集中在很大的正数区间，那肯定是初始化的问题；如果是训练几轮后才开始疯长，那梯度裁剪或者正则化就能搞定。

内容的提问来源于stack exchange，提问作者Andrew Marcum