为何CNN每层后需使用ReLU函数？ReLU为何能提升模型表达能力？

先锚定核心前提：线性堆叠的局限性 #

你在杜克大学机器学习课上学到的点非常关键：连续的全连接线性层叠加，本质上等价于一个单一的线性变换——不管叠多少层，最终输出都是输入的线性组合，模型表达能力和单层线性模型完全一样，根本没法处理现实世界里的非线性模式。

ReLU的“负值置0”不是丢信息，是主动筛选 #

你担心ReLU把负值转成0会丢失信息，其实可以换个视角理解：

• 这种“丢弃”不是随机的，而是一种非线性的特征筛选机制：它让网络只保留对当前任务有正向贡献的激活信号，主动忽略无用的负向信号，反而帮网络聚焦于关键特征，减少冗余干扰。
• 而且神经网络是多层协作的系统：某一层被置0的信号，完全可以在后续层通过不同的权重组合重新被激活。比如当前层某个神经元输出负的，下一层的另一个神经元用负权重去乘这个信号，就能把它转成正向激活，整体信息并没有真正丢失，只是被重新编码了。

为什么ReLU能提升表达能力？ #

• 最核心的原因：ReLU是非线性函数，直接打破了线性堆叠的退化问题。根据万能逼近定理，只要有足够的神经元和层数，带非线性激活的MLP可以拟合任意连续的复杂函数——这是纯线性模型永远做不到的。
• 其次，ReLU带来的稀疏激活（大量神经元输出0）让学习更高效：稀疏模式减少了参数间的依赖，降低过拟合风险，同时让网络更容易捕捉到数据里的关键模式。
• 另外，ReLU的梯度特性很友好：在正区间导数恒为1，负区间导数为0，避免了sigmoid、tanh这类饱和激活函数的梯度消失问题，训练过程更稳定，模型能更快学到有效的特征。

关于MNIST实验性能差异小的说明 #

MNIST是个相对简单的图像任务，数据里的模式不算复杂，纯线性模型本身就能达到不错的准确率（甚至单层逻辑回归都能到90%左右）。所以加ReLU后只提升2%看起来不明显，但如果换成更复杂的任务（比如ImageNet图像分类），ReLU带来的性能差距会非常大——复杂任务需要拟合大量非线性模式，这时候非线性激活的价值就彻底体现出来了。

内容的提问来源于stack exchange，提问作者BruciiZ