torch.nn模块中eval()函数的含义及官方注释相关实现疑问

嘿，这个问题问到点子上了——很多刚上手PyTorch的同学都会对eval()的真实作用和背后逻辑犯迷糊，我来给你拆解明白：

简单说，eval()是PyTorch里nn.Module的一个方法，它的唯一使命就是把模型从「训练模式」切换到「推理/评估模式」。它不会修改模型的权重参数，只是调整部分模块的运行逻辑，让模型适配“做预测”这个场景。

官方注释的这句话，本质是因为只有这些模块在训练和推理时的行为逻辑完全不一样：

先聊Dropout #

• 训练阶段：Dropout会随机“屏蔽”一部分神经元（比如随机让20%的神经元输出为0），目的是打破神经元之间的依赖，防止模型过拟合。
• 推理阶段：我们需要稳定的预测结果，绝对不能再随机丢神经元了。这时候eval()会让Dropout停止随机屏蔽，同时把所有神经元的输出按训练时的丢弃比例做缩放（比如训练时丢20%，推理时就把输出乘以1/0.8，保证输出的整体期望和训练时一致，避免结果偏差）。

再看BatchNorm #

• 训练阶段：BatchNorm会计算当前训练批次数据的均值和方差，用这个来归一化输入，同时还会维护一个移动平均的全局均值/方差（通过动量慢慢更新）。
• 推理阶段：如果还用当前单条或小批量数据的均值方差，结果会非常不稳定。eval()会让BatchNorm直接切换到使用训练过程中积累的全局均值和方差，确保预测结果的一致性。

nn.Module内部有个叫self.training的布尔属性，默认是True（也就是训练模式）。当你调用model.eval()时，它会递归地把当前模型和所有子模块的self.training都设为False。

而Dropout、BatchNorm这些模块的forward()方法，都会根据self.training的值分支执行不同逻辑：

• 当self.training为True，走训练时的逻辑；
• 当为False，走推理时的逻辑。

举个简化版的Dropout forward代码你一看就懂：

def forward(self, input):
    if self.training:
        # 训练模式：生成随机掩码并缩放输出
        mask = (torch.rand(input.shape) > self.dropout_prob).float()
        return input * mask / (1 - self.dropout_prob)
    else:
        # 推理模式：直接返回输入，不做任何随机操作
        return input

BatchNorm的逻辑类似，会根据self.training选择用当前批次统计量还是预计算的全局统计量。

最后要注意，eval()只是切换模块行为，并不会关闭梯度计算。所以实际推理时，我们通常会把它和torch.no_grad()搭配使用，避免不必要的梯度计算，节省内存和运算速度：

model.eval()
with torch.no_grad():
    prediction = model(test_input)

内容的提问来源于stack exchange，提问作者闫伯元