PyTorch中如何将FloatTensor转换为HalfTensor？

直接用以下两种常用方式即可完成转换：

• 使用张量的.half()方法（最常用）：

  # 假设你的输入张量是input_tensor
  input_tensor = input_tensor.half()
  

  如果模型运行在GPU上，需要确保张量也在GPU上，可结合.cuda()（或.to('cuda')）一起使用：

  input_tensor = input_tensor.cuda().half()
  # 或者先转精度再移到GPU，效果一致
  input_tensor = input_tensor.half().cuda()
  

• 使用torch.half()函数（函数式写法，和上面等价）：

  import torch
  input_tensor = torch.half(input_tensor)
  

注意：半精度张量（HalfTensor）的数值范围比单精度（FloatTensor）小，转换前确保输入值没有超出半精度的表示范围，避免出现NaN或精度丢失问题。不过Transformers官方预训练模型大多适配半精度输入，一般不会有问题。

内容的提问来源于stack exchange，提问作者Kilaru Vasudeva