为什么拟合y=x的简单神经网络训练时会出现性能停滞无法收敛的问题

• ReLU死神经元导致模型退化：你所用的中间层激活函数为ReLU，当权重初始化参数不佳时，很容易出现部分甚至全部隐藏层神经元的输入恒小于0的情况，经过ReLU激活后输出全为0，反向传播时对应参数的梯度也变为0，无法再更新。此时模型会直接退化为输出固定常数的简单模型，你观测到的稳定在0.08左右的损失，刚好和模型输出恒为0.5时的理论MSE（1/12≈0.0833）完全匹配，就是该问题的典型表现。
• 权重初始化的随机波动：你仅固定了数据集生成的numpy随机种子，未固定TensorFlow的全局随机种子，因此每次创建模型时全连接层的权重初始化结果是随机的。约半数场景下初始化权重未触发大面积死ReLU，模型可正常训练拟合y=x映射；剩余场景下初始化权重刚好触发死神经元，模型直接陷入停滞。
• SGD优化器的局限性：你使用的普通SGD优化器学习率仅为1e-2，一旦神经元进入死亡状态，极小的梯度无法将其从死亡区间拉回，因此模型会长期卡在平台期无法继续优化。

• 替换中间层激活函数：将ReLU替换为LeakyReLU、PReLU等带有非零负侧梯度的激活函数，从根源上避免死神经元问题。
• 固定全局随机种子：若需要每次运行结果可复现，除numpy随机种子外，额外添加tf.random.set_seed(固定种子值)代码，固定模型权重初始化的随机结果。
• 调整优化器配置：将普通SGD替换为Adam优化器，或适当调大SGD的学习率，提升模型跳出局部次优点的能力。
• 启用BatchNormalization层：取消代码中BatchNormalization层的注释，该层可动态调整每一层的输出分布，大幅降低死ReLU出现的概率。

内容的提问来源于stack exchange，提问作者frankL