如何在Flux.jl中实现Dropout，使其同时作用于前向和反向传播？

你看到的文档描述和技术文章表述的差异属于描述角度不同，Flux自带的Dropout层已经满足正常的防过拟合使用要求，无需额外改造：

• 技术文章里提到的「Dropout需要同时在前向、反向传播生效」，核心逻辑是指前向传播时被随机关闭的神经元，对应的梯度在反向传播时也要被屏蔽，不参与参数更新，这是Dropout功能生效的核心要求。
• Flux官方文档标注的「Dropout层仅在前向传播中生效」，实际是指失活神经元的随机掩码只在前向传播阶段计算一次，反向传播阶段会直接复用前向生成的掩码来过滤对应位置的梯度，并不是说反向传播完全不遵循Dropout的失活规则。

正常将Flux.Dropout(p)（p为失活概率）插入你的模型结构即可：

• 训练阶段Flux会自动开启Dropout逻辑，按你设置的概率随机失活神经元，同时反向传播时自动屏蔽对应失活节点的梯度
• 推理预测阶段Flux会自动关闭失活逻辑，使用全量参数计算输出
• 如需手动切换状态，可以调用Flux.trainmode!(你的模型)开启训练模式（Dropout生效）、Flux.testmode!(你的模型)开启测试模式（Dropout关闭）

内容的提问来源于stack exchange，提问作者logankilpatrick