被dropout的权重更新频率是按单张图片还是按batch更新？

Dropout执行机制说明 #

Dropout本身无需要训练的参数，不存在参数更新逻辑，你问的应该是其失活规则的作用维度，相关结论如下：

• 主流深度学习框架（PyTorch、TensorFlow等）默认的Dropout实现是按单个样本独立执行失活：训练阶段每一轮前向传播时，会为batch内的每一个输入样本单独生成随机神经元失活掩模，各个样本的失活规则互不影响，反向传播时也会对应掩模屏蔽对应神经元的梯度。
• 只有手动开启特殊的批共享失活配置时，才会按整个batch生成统一的失活掩模，同batch所有样本共用一套失活规则，这种场景一般仅用于特定的正则化需求，非常用配置。

针对你的场景的建议 #

你当前batch仅包含单张原图+其旋转衍生样本的设置不需要调整训练策略：

• 原图和它的旋转衍生样本会各自独立应用dropout失活，小batch场景下默认dropout逻辑完全正常，不会出现规则偏差。
• 如果你担心小batch下dropout带来的训练噪声过大，可以适当调低dropout失活概率，比如从常规的0.5下调到0.2~0.3，搭配你已设置的小学习率，训练稳定性会更高。

内容的提问来源于stack exchange，提问作者Shaved Man