神经网络正则化：Dropout应施加于激活还是权重？

嗨，这个问题真的是入门正则化时的高频困惑点，我来给你讲得明明白白～

首先得先把Dropout的核心逻辑掰清楚：它的本质是随机失活神经元的输出（也就是激活值），通过打破神经元之间的共适应关系来防止过拟合——注意，它从来不是直接作用在权重上的，权重是模型要学习的参数，Dropout不会碰权重本身。

回到你的例子：包含2个卷积层+1个全连接层的网络，A2是第二个卷积层的激活值，咱们分情况说：

1. 卷积层后的Dropout：可以加在A2上，但有讲究 #

卷积层的神经元是带有空间关联性的（比如一张图片的相邻像素是相关的），所以直接用普通Dropout（随机失活单个神经元）有时候会破坏这种空间结构的合理性。更适合卷积层的是Spatial Dropout：它会随机失活整个通道（比如把某一个卷积核输出的所有空间位置都置0），这样既保留了空间结构，又能抑制卷积核之间的共适应。

当然，普通Dropout加在A2上也不是不行，尤其是当你的卷积层输出维度比较大时，同样能起到正则化效果，只是空间Dropout在图像类任务里表现通常更优。

2. 全连接层的Dropout：几乎是标配，加在激活值上 #

全连接层的参数数量往往远大于卷积层（毕竟没有参数共享），是最容易过拟合的部分。这里的Dropout同样是加在全连接层的激活值上——比如全连接层计算出y = Wx + b后，经过激活函数得到激活值a，Dropout就随机把a里的一部分元素置为0。

3. 两者有没有实质区别？当然有！ #

你直觉里的“两者无区别”是不对的：

• 操作对象不同：一个是卷积层的空间激活输出，一个是全连接层的扁平化激活输出
• 效果侧重不同：卷积层加Dropout是抑制卷积核之间的依赖，全连接层加是抑制大量参数带来的冗余拟合
• 甚至操作方式（普通Dropout vs Spatial Dropout）都有差异

给你的实操建议 #

• 如果你的数据集比较小，过拟合风险高：可以在A2（第二个卷积层激活值）加Spatial Dropout，同时在全连接层的激活值加普通Dropout
• 如果数据集足够大，过拟合风险低：只在全连接层加Dropout就够了——毕竟卷积层本身的参数共享机制已经自带一定的正则化能力

最后再强调一遍：别想着在权重上施加Dropout，这完全偏离了Dropout的设计逻辑，它就是用来作用在神经元的激活输出上的～

内容的提问来源于stack exchange，提问作者sdiabr