使用SGD微调手写数字识别神经网络遇瓶颈，准确率难突破87%

嘿，先给你点个赞——从零实现神经网络和配套的Matrix类，还能把MNIST训练集准确率做到98%，这已经相当硬核了！现在遇到的训练集和测试集准确率差距（明显的过拟合），还有固定学习率的瓶颈，咱们一步步来拆解解决。

先搞定过拟合问题 #

训练集98%、测试集87%的差距说明模型在训练数据上过度拟合了噪声，得给它加些“约束”提升泛化能力：

• L2正则化：给损失函数加上权重的L2范数惩罚项，修改后的损失公式可以写成：

  Loss = CrossEntropyLoss + λ * sum(w² for all weight matrices)
  

  λ可以从0.001开始尝试，慢慢调整到合适的值——它会限制权重不要变得过大，避免模型过度依赖训练数据里的细枝末节。
• Dropout层：在隐藏层加入Dropout机制，训练时随机让20%-50%的神经元暂时失活，测试时恢复所有神经元并将输出乘以保留概率（比如失活概率0.3，就乘以0.7）。这能强迫模型学习更鲁棒的特征，而不是过度依赖某几个神经元的输出。
• 简单数据增强：MNIST图像可以做些低成本的增强，比如随机上下/左右平移1-2像素、轻微旋转±10度，这样能扩充训练数据的多样性，让模型学到更通用的手写数字特征。

动态学习率的几种易实现方案 #

固定学习率0.6确实容易出问题——训练初期可能因步长太大震荡，后期又因步长不够难以收敛到最优解。这里给你几个适合mini-batch SGD的实用方案：

• 步长衰减（Step Decay）：每经过N个epoch，就把学习率乘以一个衰减因子γ。比如设置每10个epoch，学习率乘以0.5。实现超简单：初始化lr = 0.1（先把初始学习率从0.6降下来，这个值太大会导致初期震荡），每个epoch结束后检查，如果是10、20...这类整数倍epoch，就执行lr *= 0.5。
• 指数衰减（Exponential Decay）：学习率随epoch指数下降，公式是：

  lr = initial_lr * γ^epoch
  

  γ一般取0.95左右，这种衰减比步长衰减更平滑，能让模型的收敛过程更稳定。
• 余弦退火（Cosine Annealing）：学习率按照余弦函数的周期变化，每个周期内从初始值降到一个最小值再回升。公式大概是：

  lr = min_lr + 0.5*(initial_lr - min_lr)*(1 + cos(epoch*π/T))
  

  T是周期长度（比如设为50个epoch），min_lr可以取0.001。这种方式能让模型在后期有机会跳出局部最优，适合追求更高精度的场景。
• 自适应学习率（Adam）：如果不想手动调衰减规则，Adam是个绝佳选择——它会根据每个参数的梯度动态调整学习率，结合了动量和RMSProp的优点。实现时需要维护每个参数的一阶矩（动量）和二阶矩（梯度平方的滑动平均），逻辑不复杂，效果比固定学习率稳定很多。

小建议 #

调整的时候建议每次只改一个变量，比如先加L2正则化看测试集准确率变化，再换动态学习率，这样能清晰判断哪种调整起了作用。另外初始学习率先降到0.1或0.2试试，0.6的步长确实偏大，容易导致模型在最优解附近来回震荡。

内容的提问来源于stack exchange，提问作者Garrett1021