为何将float转换为float16会产生非预期值？计算影响与调整方法问询

为什么会出现数值偏差？ #

np.float16（半精度浮点数）只有10位有效二进制尾数，能精确表示的十进制小数非常有限——像4.4、4.6这类小数无法用二进制精确编码，所以存储时会被近似到float16能表示的最近值，这就是你看到4.3984和4.6015的原因，属于浮点数的固有特性。

对矩阵计算的影响 #

• 误差累积：单次运算的偏差可能很小，但多次矩阵加减乘除、逆运算后，误差会不断放大。尤其是处理大规模矩阵或条件数大的矩阵时，最终结果的偏差可能超出可接受范围。
• 精度敏感场景风险：在机器学习梯度下降、数值优化这类对精度要求高的场景中，累积误差可能导致模型收敛变慢、参数更新偏离最优方向，甚至出现训练不稳定的情况。
• 简单运算影响有限：如果只是小规模矩阵的简单加减乘，且对结果精度要求不高，可能不会有明显问题。

不改变dtype的前提下能否调整行为？ #

没办法直接改变float16的精度限制，因为这是其硬件级别的存储特性。但可以通过一些手段减少误差影响：

• 数值缩放：把小数转换为整数存储（比如4.4×10=44，float16能精确表示44），完成计算后再缩放回原范围，避免小数的近似误差。
• 高精度中间运算：先将float16数据转为float32完成核心计算，最后再转回float16存储，这样能减少中间步骤的误差累积，但最终存储时还是会有近似。
• 替换为可精确表示的数值：如果业务允许，尽量使用0.5、0.25这类2的负幂次小数，它们可以被float16精确存储。

内容的提问来源于stack exchange，提问作者Ali Silberman