使用SGD训练音频分类模型时750轮损失突降是什么问题？

原因分析 #

• 全网络堆叠sigmoid激活引发梯度消失
  sigmoid函数的导数取值范围仅在0到0.25之间，多层堆叠后反向传播的梯度会指数级衰减。你的网络所有隐藏层全部使用sigmoid作为激活函数，前700多轮基本没有有效梯度更新，参数一直卡在损失函数的平坦区域，直到某次随机梯度更新刚好让参数走出平坦区，损失就出现了骤降。
• 无动量SGD优化器容易陷入鞍点
  你使用的是不带动量的纯SGD优化器，没有梯度累积的惯性机制，遇到损失平面的平坦鞍点时会长期停滞，无法有效更新参数，只有当随机梯度的波动刚好推动参数跳出鞍点时，才会进入正常收敛阶段。

优化方案 #

• 替换激活函数：把所有隐藏层的sigmoid全部换成ReLU或LeakyReLU，仅保留最后输出层的sigmoid适配二分类任务，从根源上解决梯度消失问题。
• 调整优化器配置：给SGD设置0.9的动量，或者直接切换为Adam优化器，提升优化器的脱困能力，大幅加快收敛速度。
• 调整学习率：当前0.01的学习率对于纯SGD来说偏低，可以尝试提升到0.05_{0.1的初始学习率，同时搭配每100轮衰减10%}20%的学习率策略，兼顾收敛速度和训练后期的稳定性。
• 排查数据泄露：如果损失骤降时验证集的损失没有同步下降，需要检查训练流程中是否存在数据泄露的问题。

内容的提问来源于stack exchange，提问作者Alp Sarıca