从零实现的分类神经网络无法学习，请求排查代码问题

从你描述的症状（参数极大值、激活输出饱和、梯度消失/震荡、exp溢出）来看，核心问题是隐藏层激活函数饱和引发梯度消失，同时伴随参数初始化不当、数据未归一化或反向传播逻辑错误，以下是针对性的排查和修复方案：

1. 修正参数初始化逻辑 #

你提到W1、W2出现极大值，且A1全为0，大概率是初始权重设置过大，导致z = W@X + b数值爆炸，直接让sigmoid/tanh激活函数进入饱和区（输出趋近0或1），梯度趋近于0，参数无法更新。

• 修复：放弃全零或大随机值初始化，改用适配激活函数的初始化方法：

  # 针对sigmoid/tanh的Xavier初始化
  W1 = np.random.randn(n_hidden, n_input) * np.sqrt(1 / n_input)
  b1 = np.zeros((n_hidden, 1))
  W2 = np.random.randn(n_output, n_hidden) * np.sqrt(1 / n_hidden)
  b2 = np.zeros((n_output, 1))
  

  如果用ReLU作为隐藏层激活，换成He初始化：np.sqrt(2 / n_input)

2. 强制做输入数据归一化/标准化 #

如果x1、x2的数值尺度差异大（比如一个范围是0-1000，另一个是0-1），会放大Wx的计算结果，触发exp溢出和激活饱和。

• 修复：对输入特征做Z-score标准化（均值为0，方差为1）：

  X = (X - np.mean(X, axis=1, keepdims=True)) / np.std(X, axis=1, keepdims=True)
  

  或最小-最大归一化到[0,1]区间，确保输入尺度一致。

3. 检查激活函数与反向传播梯度推导 #

A1全0、A2全1说明激活函数完全饱和，此时sigmoid的梯度g'(z) = sigmoid(z)*(1-sigmoid(z))趋近于0，直接导致dW1、db1为0；而db2的震荡大概率是损失函数与激活函数不匹配，或梯度推导错误。

• 修复要点：
  1. 二分类任务必须用二元交叉熵（BCE）损失配合sigmoid输出，不要用均方误差（MSE）——BCE与sigmoid结合后会抵消激活函数的梯度项，避免饱和时梯度消失：

     # 二元交叉熵损失计算
     loss = -np.mean(Y * np.log(A2 + 1e-8) + (1-Y) * np.log(1-A2 + 1e-8))
     

     加1e-8是为了避免log(0)报错。
  2. 输出层梯度直接用dZ2 = A2 - Y（BCE与sigmoid结合后的简化结果），不要额外乘A2*(1-A2)，否则会再次引入饱和梯度。
  3. 隐藏层梯度计算要确保矩阵维度正确：

     # 假设隐藏层是sigmoid激活
     dZ1 = np.dot(W2.T, dZ2) * A1 * (1 - A1)
     

  4. 若sigmoid饱和问题严重，把隐藏层激活换成ReLU，其非饱和区梯度恒为1，能有效缓解梯度消失，记得配合He初始化。

4. 调整学习率并添加梯度裁剪 #

db2在±1900交替说明学习率过大，导致参数更新震荡；而W1、W2的极大值可能是初始值过大+梯度无法更新，或学习率错误导致参数越更新越大。

• 修复：
  1. 把学习率从默认的0.1降到0.01/0.001，逐步测试合适的数值。
  2. 添加梯度裁剪限制梯度范数，防止梯度爆炸：

     clip_norm = 1.0
     # 裁剪dW2
     norm = np.linalg.norm(dW2)
     if norm > clip_norm:
         dW2 = dW2 * clip_norm / norm
     # 同理裁剪db2、dW1、db1
     

5. 验证参数更新逻辑 #

如果参数更新时符号错误（比如用W += learning_rate * dW而不是W -= learning_rate * dW），会导致参数越来越大，触发溢出和饱和。

• 修复：确保参数更新是梯度下降方向：

  W1 -= learning_rate * dW1
  b1 -= learning_rate * db1
  W2 -= learning_rate * dW2
  b2 -= learning_rate * db2
  

6. 提前验证前向传播输出 #

训练前单独跑一次前向传播，检查A1、A2的数值：

• 正常初始状态下，A1应该是接近0.5的随机值，A2也应该在0.5左右波动；如果直接全0/全1，说明初始化或数据归一化肯定有问题，先解决这个再开始训练。

内容的提问来源于stack exchange，提问作者Maks