不同精度的float类型是否存在"嵌套"特性？

核心结论 #

你所说的“嵌套”特性对于符合IEEE 754标准的二进制浮点类型（也就是你用到的half、single、double三类浮点）完全成立：

• 所有低精度下可以精确表示的数值，在更高精度的同标准二进制浮点类型中都可以被无误差精确表示
• 同标准下的浮点数向上转换（拓宽转换）不会改变原始数值，不会引入任何精度损失

原理说明 #

IEEE 754二进制浮点数的表示逻辑为「符号位 + 指数位 + 尾数位」，三类常见浮点的参数如下：

低精度可精确表示的数值满足两个条件：

1. 数值的指数范围落在低精度浮点的指数可表示区间内，而高精度浮点的指数区间完全覆盖低精度的指数区间
2. 数值的有效二进制位数不超过低精度浮点的尾数位长度，远小于高精度浮点的尾数位长度
   因此转换时只需要对高位补符号位、指数位做偏移适配、尾数末尾补0即可，全程不需要舍入操作，数值可以完全保留。

实际验证示例 #

你可以直接用numpy做验证，以下代码的输出全部为True：

import numpy as np

# 取任意half类型可精确表示的数值
fp16_num = np.float16(0.375)
# 向上转换为更高精度类型
fp32_num = np.float32(fp16_num)
fp64_num = np.float64(fp16_num)

# 验证数值完全相等
print(fp16_num == fp32_num)
print(fp32_num == fp64_num)
print(fp16_num == fp64_num)

注意事项 #

该特性仅适用于同标准的二进制IEEE 754浮点类型的向上转换，如果涉及到十进制浮点、非标准自定义浮点格式，或者是高精度转低精度的向下转换，不满足该规则。

内容的提问来源于stack exchange，提问作者G. Fougeron