CNN训练中部分权重经SGD更新后不再变化是否正常？所有权重每次迭代都会变吗？

嘿，这个问题其实在CNN训练里挺常见的，先给你吃个定心丸：部分权重不再发生变化大多是正常现象，不是训练出bug了，下面给你拆解几种常见原因：

• 对应输入特征长期无激活：如果某个权重连接的神经元，输入经过ReLU这类激活函数后一直输出0，那这个权重的梯度就会是0，SGD自然不会对它做任何更新。比如网络早期层学到的特征在当前数据集里几乎没出现过，就会导致这种情况。
• 权重陷入局部极小值/鞍点：当权重走到了梯度接近0的区域，哪怕有微小梯度，乘以学习率之后的更新幅度可能小到超出浮点数的精度范围，看起来就像没变化一样。
• 主动的权重约束/冻结：如果你用了预训练模型并冻结了部分层，或者加了特殊的正则化（比如把某些权重钳位到固定值），那这些权重肯定不会更新，这属于人为设置的正常情况。

网络所有权重每次迭代都会变化吗？ #

答案是不一定。除了上面提到的几种导致权重不更新的情况，还有这些场景也会让部分权重“原地踏步”：

• 学习率设置过小：哪怕有梯度，乘以极小的学习率后，更新量太小，在浮点数精度下无法体现出变化。
• 梯度消失：深度网络里常见的问题，某些层的梯度被传递到接近0的程度，导致权重更新幅度可以忽略不计。

如果你担心是异常情况，可以做个小检查：打印这些“恒定权重”对应的梯度值，看看是不是真的为0，或者观察对应的输入特征有没有激活的情况，就能快速定位原因啦。

内容的提问来源于stack exchange，提问作者erlengzi