float16是逐运算后舍入还是仅最终舍入？代码验证探究

要判断机器对(x1 + x2) * x3 - x4这类float16表达式是每步运算后舍入，还是仅在最终阶段舍入，核心思路是对比两种计算路径的结果差异：

• 路径1：严格按float16类型分步执行每一步运算（模拟机器实际行为）
• 路径2：用更高精度的浮点类型（比如float64）计算完整表达式（避免中间舍入），最后再转换为float16（模拟理想的"仅最终舍入"场景）

如果两个路径的结果不一致，就说明机器在每一步运算后都做了舍入——因为中间舍入的误差被累积放大，导致最终结果和无中间舍入的情况产生差异。

代码验证示例（Python + NumPy） #

import numpy as np

# 构造能放大中间舍入误差的测试值：
# 0.1和0.2无法用二进制浮点数精确表示，float16精度更低，相加后的舍入误差更明显
x1 = np.float16(0.1)
x2 = np.float16(0.2)
x3 = np.float16(1000.0)  # 放大相加后的误差
x4 = np.float16(300.0)

# 路径1：float16分步运算（每步后舍入）
step1 = x1 + x2
step2 = step1 * x3
result_stepwise = step2 - x4

# 路径2：高精度计算完整表达式，最后转float16（无中间舍入）
x1_64 = np.float64(x1)
x2_64 = np.float64(x2)
x3_64 = np.float64(x3)
x4_64 = np.float64(x4)
result_full_precision = np.float16((x1_64 + x2_64) * x3_64 - x4_64)

# 输出对比结果
print(f"float16分步运算结果: {result_stepwise}")
print(f"高精度转float16结果: {result_full_precision}")
print(f"结果是否一致: {result_stepwise == result_full_precision}")

结果解释 #

运行代码后会发现两个结果不一致：

• float16分步运算时，0.1 + 0.2的结果在float16中会被舍入为近似值，乘以1000后这个误差被放大，最终和300相减的结果会偏离理想值。
• 而用float64计算时，中间运算保留了更高精度，最后转float16的结果更接近数学上的精确值。

这种差异直接证明了机器是在每一步浮点运算后都进行舍入，而非仅在最终阶段舍入。

内容的提问来源于stack exchange，提问作者Kim Raven