ReLU神经元失活时机咨询：仅发生于前向传播还是反向传播？

Great question—this is a common point of confusion when first diving into ReLU activations. Let's break it down step by step:

前向传播：神经元的“暂时失活” #

首先，ReLU的激活规则是：f(x) = max(0, x)。当某个神经元的输入x小于0时，它的输出直接变成0。这时候，这个神经元在前向传播过程中就相当于“失活”了——它的输出对后续层的计算没有任何贡献，相当于在当前的前向路径中“消失”了。但这只是暂时的，如果后续输入变成正数，它还是能重新激活。

反向传播：导致神经元“永久死亡”的关键 #

真正让神经元变成“死亡ReLU”的，其实是反向传播过程中的梯度问题：

• 当神经元在前向传播时输出0（也就是输入x<0），ReLU的导数f’(x)是0。
• 在反向传播计算梯度时，这个0导数会传递回该神经元的权重和偏置，导致这些参数的更新梯度为0。
• 如果这种情况反复发生——比如这个神经元的输入长期处于负数区间，权重一直得不到更新——它就会永远无法被激活，彻底变成“死亡神经元”：以后不管输入是什么，它的输出都是0，反向传播也永远不会产生有效梯度来调整它的参数。

简单来说：前向传播是神经元暂时失活的触发点，而反向传播中梯度为0的情况，才是让这个失活状态永久固化的原因。

内容的提问来源于stack exchange，提问作者Joshua