为何示例Notebook中Dropout机制会出现反效果？

该现象并非数据集错误导致，属于Dropout使用过程中非常典型的场景、实现或参数匹配问题，常见诱因和对应修正方法如下：

• 场景适配问题：小样本数据集搭配浅层Vanilla网络时，模型本身参数量有限、拟合容量不高，Dropout随机失活神经元会直接削弱模型的特征学习能力，反而拖慢收敛速度、抬升训练Cost。这类小样本场景优先选择数据增强、轻量L2正则化的方式防过拟合即可，不需要强行使用Dropout。
• 实现逻辑错误：
  • 训练阶段未做激活值缩放：按keep_prob比例随机失活神经元后，必须将保留下来的神经元激活值除以keep_prob做数值补偿，否则推理阶段所有神经元全部参与计算时，激活值整体量级和训练阶段不匹配，会直接导致效果劣化。
  • 推理阶段未关闭Dropout：测试/验证环节需要完全关闭Dropout随机失活逻辑，保证所有神经元参与计算，不能沿用训练阶段的随机失活策略。
• 参数配置不合理：如果keep_prob设置过低（全连接层低于0.5），单轮迭代中失活神经元占比过高，模型无法稳定学习有效特征，效果自然差于无Dropout版本。常规配置下，全连接层keep_prob建议设为0.5_{0.8，卷积层因参数共享本身过拟合风险低，`keep_prob`可设为0.8}0.9或直接不使用Dropout。
• 训练轮次不足：Dropout会给训练过程引入随机噪声，模型收敛需要的迭代轮次会明显高于无正则的普通模型，如果和无Dropout版本设置完全相同的训练轮次，大概率会出现Dropout版本尚未收敛、Cost更高的现象，可适当拉长训练轮次观察结果。

内容的提问来源于stack exchange，提问作者user2458922