PyTorch环境下Bert预训练模型的上述推理速度是否为正常水平？

你测试得到的Bert系列模型单batch推理速度属于CPU推理场景下的正常范围，速度偏慢的核心原因是你没有用到机器配备的Tesla V100 GPU资源。

速度合理性说明 #

• 你测试的序列长度为512，是Bert支持的最长输入长度，计算量本身就比常见的短序列场景高2-4倍
• 纯CPU环境下，Bert-base-uncased全精度单batch推理在Xeon Platinum 8163 CPU上耗时150ms左右是行业公认的常规水平，动态量化后耗时降低40%、蒸馏版Bert速度再提升40%左右的表现也完全符合技术预期，没有异常。

性能优化建议 #

1. 优先使用GPU推理 #

你当前的代码没有将模型和输入张量迁移到GPU，所有计算都跑在CPU上，是速度慢的核心原因。只需要在加载模型后、推理前增加对应代码即可切换到GPU：

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = model.to(device)
# 推理时把inputs也迁移到GPU
inputs = tokenizer(text, return_tensors="pt", max_length=512, truncation=True).to(device)

切换到V100 GPU后，单batch 512长度的Bert-base推理耗时可以降到10ms以内，完全满足实时应用的需求。

2. 修正计时逻辑 #

你当前的计时包含了模型从磁盘加载到内存的耗时，会导致统计的推理耗时偏长。建议把计时起始点调整到模型、tokenizer全部加载完成之后，得到的才是纯推理耗时。

3. 进一步优化方向 #

如果仍然需要在CPU上部署，可以采用以下方案进一步提升速度：

• 用ONNX Runtime转换模型并做量化优化，可比原生PyTorch动态量化再快30%-50%
• 批量处理请求，你补充的批量输入代码可以大幅提升吞吐量，适合非实时的离线处理场景
• 针对部署场景可以选用更小的模型，比如bert-mini、bert-tiny，推理速度还能再提升数倍，精度损失可控。

内容的提问来源于stack exchange，提问作者marlon