PyTorch中cuda.amp与model.half()的区别及FP16使用选择问题

1. 两种操作的核心区别 #

• 作用逻辑和范围不同
  model.half()是强制将模型所有的浮点型参数从默认FP32转换为FP16存储，调用后模型参数本身就为半精度格式，后续所有涉及模型参数的运算都会默认采用FP16执行。
  torch.cuda.amp.autocast是运行时的精度自动调度机制，仅作用于它包裹的代码块：会自动判断算子类型，对适配Tensor Core加速的算子（卷积、矩阵乘法等）自动采用FP16运算，对数值稳定性要求高的算子（对数计算、Softmax、损失函数等）仍保留FP32运算，模型参数本身默认还是FP32存储。
• 数值稳定性差异
  单独使用model.half()非常容易出现数值异常：FP16的可表示范围远小于FP32，训练过程中很容易出现梯度下溢（极小的数值被直接截断为0）、运算溢出（数值超过FP16上限变成NaN），最终导致模型训练失败。
  torch.cuda.amp一般会配套梯度缩放（GradScaler）机制，会自动把梯度放大避免下溢，反向传播完成后再缩放回原值，全程自动处理精度适配，数值稳定性远高于直接转半精度模型。
• 使用成本不同
  调用model.half()后，你还需要手动把所有输入数据也转成FP16格式，否则会出现张量类型不匹配的报错；torch.cuda.amp会自动处理输入张量的精度转换，不需要额外手动修改输入的格式。
• 显存占用差异
  model.half()的模型参数直接占用FP32格式一半的显存；纯用autocast不转换模型格式时，模型参数仍为FP32，仅中间运算产生的临时张量会采用FP16节省显存。

2. 实现FP16加速的最优选择 #

优先选择完整的torch.cuda.amp方案（autocast+GradScaler），不要单独使用model.half()。
完整的AMP方案既可以调用NVIDIA显卡的Tensor Core实现运算加速，大幅缩短训练时长，也能通过自动精度切换和梯度缩放保证训练稳定性，同时中间张量的显存占用降低也能支撑更大的batch size或更大的模型规模。
如果仍需要进一步压缩显存占用支撑更大的模型，可以在torch.cuda.amp方案的基础上额外调用model.half()，但不建议脱离AMP单独使用半精度模型。

内容的提问来源于stack exchange，提问作者user3668129