使用transformers.pipeline推理微调BERT时是否需调用model.eval()？

核心结论 #

需要手动调用model.eval()，或者通过pipeline的参数配置让它自动切换模型到评估模式——这不属于pipeline的异常，是它的设计逻辑导致的。

原因解析 #

模型中的dropout、层归一化等模块在训练模式和评估模式下行为完全不同：

• 训练模式（model.training=True）：dropout会随机失活神经元，层归一化使用当前推理批次的统计量，这会导致每次输出结果有差异。
• 评估模式（model.training=False）：dropout完全关闭，层归一化使用训练阶段学习到的移动平均统计量，输出结果会稳定一致。

transformers.pipeline的默认设计不会自动切换模型到评估模式，因为它需要兼容少数特殊场景（比如某些生成任务需要保留训练模式的随机性），所以不会强制修改模型的状态。另外，Trainer训练结束后也不会自动将模型切回评估模式，所以微调后的模型默认还是处于训练状态。

正确处理方式 #

有两种可靠的解决办法：

1. 手动切换模式：在传入pipeline前直接调用model.eval()，如果想进一步优化内存，可以搭配torch.no_grad()使用：

   model.eval()
   with torch.no_grad():
       classifier = pipeline("text-classification", model=model)
       # 执行推理
       result = classifier("your text")
   

2. 通过pipeline参数配置：初始化pipeline时，通过model_kwargs参数指定模型进入评估模式：

   from transformers import pipeline
   classifier = pipeline("text-classification", model=your_fine_tuned_model, model_kwargs={"mode": "eval"})
   

内容的提问来源于stack exchange，提问作者robocat314