从零实现的MNIST分类ANN准确率极低问题求助

核心排查方向 #

你的问题核心是模型无法有效学习特征，损失值正常但验证准确率长期低位，优先从以下关键环节排查：

1. 反向传播梯度的正确性 #

手动实现反向传播极易出现梯度计算错误，这是模型无法更新的最常见原因：

• 用数值梯度验证法：对每个权重/偏置，计算微小扰动（如epsilon=1e-7）下的损失变化，得到数值梯度，与反向传播输出的梯度对比。两者相对误差应小于1e-6，否则说明反向传播逻辑存在错误。
• 重点检查softmax+交叉熵的梯度推导：softmax输出对输入的梯度、交叉熵对softmax输出的梯度，两者的链式组合是否正确。

2. 权重与偏置初始化问题 #

错误初始化会导致梯度消失/爆炸，或神经元无法差异化学习：

• 禁止全零初始化权重：会导致所有神经元输出相同、梯度一致，模型无法学习特征。
• 按激活函数选择初始化方式：
  • 用ReLU时，采用He初始化：权重采样自均值为0、方差为2/输入节点数的正态分布；
  • 用sigmoid/tanh时，采用Xavier初始化：权重采样自均值为0、方差为1/(输入节点数+输出节点数)的正态分布；
  • 偏置可初始化为0或小常数（如0.01），避免过大值导致激活函数饱和。

3. 标签与损失函数的匹配 #

交叉熵损失的计算依赖正确的标签格式：

• 若softmax输出是10维概率向量，标签需为one-hot编码（如数字3对应[0,0,0,1,0,0,0,0,0,0]）；
• 若用类别索引（如0-9的整数），需实现稀疏交叉熵，避免因标签格式不匹配导致优化方向错误。

4. 动量优化的实现正确性 #

梯度下降带动量的逻辑若写错，会导致权重更新方向混乱：

• 正确的动量更新公式（以权重w1为例）：

  # 初始化动量变量，与权重同形状，初始为0
  v_w1 = np.zeros_like(w1)
  beta = 0.9  # 动量系数，通常取0.9
  # 每轮训练更新
  grad_w1 = 反向传播得到的w1梯度
  v_w1 = beta * v_w1 + (1 - beta) * grad_w1
  w1 -= learning_rate * v_w1
  

• 注意不要搞反动量累积的顺序，避免出现v_w1 = beta*grad_w1 + (1-beta)*v_w1这类错误。

5. 数据归一化的细节 #

确保归一化过程没有数据泄露：

• 仅用训练集的统计量（如最大值255）对验证集、测试集做归一化，不能用测试集数据计算均值/标准差；
• MNIST像素值范围是0-255，直接除以255归一到[0,1]即可，无需复杂标准化。

具体解决步骤 #

1. 先停用动量（设beta=0），用普通梯度下降训练，观察准确率是否提升，排除动量实现的问题；
2. 用数值梯度验证反向传播的正确性，修正所有梯度计算错误；
3. 重新初始化权重与偏置，严格遵循对应激活函数的初始化规则；
4. 检查标签格式，确保与交叉熵损失的实现匹配；
5. 监控训练过程：同时输出训练准确率、验证准确率，若训练准确率也低，说明模型欠拟合，可适当增加隐藏层神经元数（如从100开始逐步调整）；若训练准确率高但验证低，再考虑过拟合问题（如加dropout）。

额外调优建议 #

• 若用ReLU，注意死亡ReLU问题：若学习率过大，会导致大量神经元输出为0、梯度为0无法更新。可尝试减小学习率（如从1e-3降到1e-4），或改用LeakyReLU；
• 训练轮次无需一开始就设200，先训练10-20轮，观察损失和准确率的变化趋势，再调整参数；
• 尝试小批量梯度下降（batch size取32/64），比全批量梯度下降更稳定，能加速收敛。

内容的提问来源于stack exchange，提问作者Anna