是否应始终使用torch.cuda.amp.autocast加速模型推理？

我在PyTorch中给计算机视觉模型的推理代码添加了with torch.cuda.amp.autocast():后，推理速度直接提升了约23%。这让我不禁思考：是不是模型推理时都该用这个方法来获取“免费”的速度提升，还是存在一些容易忽略的弊端？我明白降低精度会丢失部分信息，可能导致模型精度略有下降，但实际测试下来影响似乎极小，除此之外还有其他缺点吗？（注：仅针对模型推理场景提问，不涉及训练环节）

这些AMP推理的弊端你得留意： #

• 精度异常风险：多数视觉模型用AMP后精度下滑可以忽略，但对数值精度敏感的模型（比如医疗影像高精度分析、精准回归任务模型），半精度计算可能会丢失关键细节，导致预测结果出现明显偏差，甚至完全错误。
• 硬件限制：AMP依赖CUDA的半精度硬件加速能力，老款GPU（比如Kepler架构之前的显卡）对半精度的支持很差，强行开启AMP不仅不会提速，反而可能变慢，甚至无法正常运行。
• 算子兼容性问题：少数PyTorch原生算子不支持半精度计算，开启AMP后这些算子会自动回退到单精度运行。如果你的模型大量使用这类算子，AMP能带来的速度提升会非常有限，甚至完全没效果。
• 调试复杂度提升：如果推理过程出现异常，开启AMP后需要额外排查是模型本身的问题，还是半精度计算导致的数值溢出/下溢，这会增加调试的难度，尤其是遇到数值不稳定的情况时，定位问题会更麻烦。

内容的提问来源于stack exchange，提问作者jkelle