PyTorch中half()转换float32张量为float16存在偏差，求无偏差转换方法

• 核心原因：float16的精度远低于float32——float16的尾数仅10位，float32则有23位，大量float32数值无法被float16精确映射，转换时只能取float16范围内最接近的可表示值，你遇到的数值偏差是数据类型本身的固有限制导致的。
• 不存在无偏差的转换方法：float16的取值范围和精度上限都小于float32，对于超出float16精确表示能力的float32数值，任何转换操作都必然引入偏差，这是硬件和数据类型设计的本质特性，无法绕过。
• 替代方案：
  • 若需完全保留原数值精度，建议继续使用float32或更高精度的float64类型，不要向下转换到float16。
  • 若业务场景允许一定误差，可通过指定舍入规则调整偏差方向（比如在PyTorch中先执行torch.round(tensor * 10000) / 10000这类操作再转换，但这只是让偏差符合需求，依然无法完全消除偏差）。

内容的提问来源于stack exchange，提问作者zhangbw