从零实现MNIST分类神经网络效率下降的原因及优化问询

一、精度始终9.8%的核心原因及修复 #

9.8%的精度基本等同于随机猜测（MNIST是10分类任务，随机准确率约10%），说明模型完全没有学到有效特征，核心问题集中在梯度计算错误或初始化/数据预处理错误：

1. 权重初始化错误 #

如果权重初始化为全零或过小的固定值，所有神经元输出一致，反向传播时梯度完全相同，模型无法分化学习。

• 修复：使用Xavier/He随机初始化，比如：

  # 针对sigmoid激活的Xavier初始化
  weights['w1'] = np.random.randn(input_size, hidden_size) * np.sqrt(1/input_size)
  weights['w2'] = np.random.randn(hidden_size, output_size) * np.sqrt(1/hidden_size)
  biases['b1'] = np.zeros(hidden_size)
  biases['b2'] = np.zeros(output_size)
  

2. 反向传播梯度计算错误 #

sum_d_a和sum_d的累加逻辑或梯度符号错误，会导致权重更新方向错误或无有效更新：

• 常见错误：输出层误差计算符号错误（比如写成y_true - a2而非a2 - y_true，交叉熵+softmax组合下正确误差是预测值减独热标签）；梯度未做批量平均，导致更新幅度过大/过小。
• 修复：确保输出层误差计算正确，且梯度除以样本数做平均：

  d_z2 = a2 - y  # y必须是独热编码的批量矩阵
  d_w2 = np.dot(a1.T, d_z2) / m  # m是批量样本数
  d_b2 = np.mean(d_z2, axis=0)
  

3. 标签未做独热编码 #

如果MNIST标签是0-9的整数，而输出层是10维softmax向量，直接计算损失会导致梯度完全错误。

• 修复：将标签转为独热编码：

  y_onehot = np.eye(10)[y_train]
  

二、train_dataset函数效率低下的修复 #

效率问题本质是单样本循环累加梯度的冗余计算，numpy的向量化运算完全可以替代循环：

1. 替换单样本循环为批量矩阵运算 #

去掉逐个样本的for循环，直接用矩阵运算处理整个批量，利用numpy的底层优化提升速度：

def train_dataset(X, y, weights, biases, learning_rate):
    m = X.shape[0]
    # 前向传播（批量处理）
    z1 = np.dot(X, weights['w1']) + biases['b1']
    a1 = sigmoid(z1)
    z2 = np.dot(a1, weights['w2']) + biases['b2']
    a2 = softmax(z2)
    
    # 反向传播（批量梯度计算）
    d_z2 = a2 - y
    d_w2 = np.dot(a1.T, d_z2) / m
    d_b2 = np.mean(d_z2, axis=0)
    
    d_a1 = np.dot(d_z2, weights['w2'].T)
    d_z1 = d_a1 * sigmoid_derivative(a1)
    d_w1 = np.dot(X.T, d_z1) / m
    d_b1 = np.mean(d_z1, axis=0)
    
    # 更新权重
    weights['w1'] -= learning_rate * d_w1
    weights['b1'] -= learning_rate * d_b1
    weights['w2'] -= learning_rate * d_w2
    weights['b2'] -= learning_rate * d_b2

2. 避免循环内重复初始化 #

如果原代码在每个样本循环内初始化sum_d_a和sum_d，会导致梯度累加失效且增加额外开销，修复方式是在循环前初始化全零矩阵，直接累加梯度（批量运算则无需此步骤）。

内容的提问来源于stack exchange，提问作者Tanmay Gajapati