C++手写MNIST神经网络无法学习：MSE无下降问题求助

一、核心梯度更新逻辑检查（重点针对ApplyGradientDescent） #

• 梯度重置：确认每次反向传播前，权重梯度、偏置梯度等变量是否被初始化为0。若梯度未清零，会导致多轮迭代的梯度累积，参数更新方向完全错误。
• 更新方向验证：检查参数更新公式是否为权重 = 权重 - 学习率 * 权重梯度，若误写为+=，参数会向损失增大的方向移动，MSE必然维持高位。
• 反向传播梯度计算：核对链式法则推导是否正确：
  • 输出层误差是否对应MSE损失的导数（对MSE损失求导，输出层误差应为(预测输出 - 真实标签) * 激活函数导数）
  • 隐藏层误差是否正确结合了上一层的权重和当前层激活函数的导数

二、数据拟合逻辑问题 #

• 数据归一化：确认MNIST像素值是否归一化至[0,1]或[-1,1]区间。原始0-255的像素值会使激活函数（如sigmoid）进入饱和区，导数趋近于0，导致梯度消失，参数无法更新。
• 标签编码：检查标签是否转换为独热编码（如标签5对应[0,0,0,0,0,1,0,0,0,0]）。若直接使用整数标签计算MSE，损失逻辑完全错误，梯度无意义。
• 样本标签匹配：验证训练样本与标签是否一一对应，若存在所有样本绑定同一标签的情况，模型会趋向输出固定值，MSE无波动。

三、参数初始化问题 #

• 权重初始化：禁止将所有权重初始化为0或固定值，这会导致所有神经元输出一致，反向传播时梯度完全相同，网络无法学习特征。应采用随机初始化：
  • 小规模网络可使用[-0.1, 0.1]范围内的均匀分布随机值
  • 深层网络推荐Xavier或He初始化，保证各层输出的方差一致
• 偏置初始化：确保偏置的梯度计算与更新逻辑和权重一致，若偏置未被正确更新，也会导致网络输出无变化。

四、其他细节验证 #

• 激活函数导数：核对激活函数的导数实现是否正确，例如：
  • Sigmoid导数：output * (1 - output)
  • ReLU导数：输入>0时为1，否则为0
• 损失函数计算：确认MSE是对所有输出神经元的(预测值-真实值)^2求和后取平均，避免仅计算单个神经元误差的情况。

内容的提问来源于stack exchange，提问作者MrGeniusProgrammer