使用Dropout时的权重缩放推理相关疑问

我完全懂你的困惑——刚开始啃Dropout的权重缩放逻辑时，我也绕了好几个弯才搞明白。咱们把这个事儿拆开来聊，就清晰多了：

• 训练阶段权重“变大”的本质：
  训练时开Dropout，每个batch都会随机丢掉一部分节点（保留概率是$p$）。这时候，剩下的活跃节点得扛下原本整个层的计算活儿——比如原本100个节点分工，现在只剩70个（$p=0.7$），那每个留下的节点就得“顶更多的工作量”。反向传播时，模型自然会把这些活跃节点的权重调大，用来弥补被丢弃节点的贡献缺口。说白了，这是模型在模拟“不同节点子集协作”的场景，避免过度依赖某几个节点，防止过拟合。

• 测试阶段权重缩放的核心原因：
  到测试时，我们不会再丢节点了——得用全网络的所有能力。但这里有个问题：训练时每个节点的权重是基于“只有$p$比例的节点在干活”来调整的，如果直接拿这些权重跑测试，相当于每个节点的贡献都被莫名放大了（毕竟训练时它是“以一当N”的状态）。所以我们把所有权重乘以$p$，其实是在把训练时被放大的权重“拉回”到正常水平，让整个层的输出期望和训练阶段保持一致。

举个极简的数学例子辅助理解：假设训练时某个节点的输出期望是$E_{train} = p \cdot w \cdot x$（因为只有$p$的概率它会被保留参与计算）；如果测试时不用缩放，输出期望就是$E_{test} = w \cdot x$，这比训练时的期望大了$1/p$倍。但如果我们把权重调整为$w' = p \cdot w$，测试时的输出期望就变成了$E_{test}' = p \cdot w \cdot x$，和训练时的期望完全匹配，模型的表现才会稳定。

内容的提问来源于stack exchange，提问作者Eric Auld