为何小于1的最大IEEE浮点数与1的差值为半个机器epsilon？及ulp计算

这个问题问得特别好，刚接触浮点数精度的人几乎都会在这里绕个弯。咱们一步步把它掰明白：

为什么1.0与小于它的最大可表示浮点数的差值是机器epsilon的一半？ #

首先得纠正一个容易混淆的点，再明确两个核心定义：

• 你之前的小误解：你提到的 k = 2^0 × 0.111……1 其实是非归一化浮点数，而我们通常讨论“小于1.0的最大可表示浮点数”时，默认指的是归一化浮点数——这才是问题的关键。
• 归一化浮点数规则：IEEE 754标准中，归一化二进制浮点数必须写成 1.m × 2^e 的形式，其中 1 ≤ 1.m < 2（m 是尾数的小数部分，单精度占23位，双精度占52位），e 是实际指数（由存储的偏移指数转换而来）。
• 机器epsilon的标准定义：是最小的正数 ε，使得 1.0 + ε ≠ 1.0。对单精度浮点数来说，ε = 2^-23；双精度则是 2^-52。它本质上是1.0和下一个更大的归一化浮点数的差值。

那小于1.0的最大归一化浮点数是什么样的？它的实际指数是 -1，尾数部分是全1的 1.111...1，计算下来：

k = (1 + (2^23 - 1)/2^23) × 2^-1 = (2 - 2^-23) × 2^-1 = 1 - 2^-24

此时 1.0 - k = 2^-24，而机器epsilon是 2^-23，正好是这个差值的两倍——这就是你疑惑的根源！

非归一化浮点数确实能表示更接近1.0的数，但它们是专门用来填补归一化数覆盖不到的、极接近0的区间的，通常讨论ulp和机器epsilon时，默认都是针对归一化浮点数的。

如何计算任意数值的ULP？ #

ULP（Unit in the Last Place，最后一位的单位）指的是某个浮点数与相邻的下一个可表示浮点数之间的间距。计算方法可以分为两步：

针对归一化浮点数 #

1. 确定该浮点数的实际指数 e：把浮点数转换成IEEE 754格式，用存储的偏移指数减去偏移量（单精度偏移127，双精度偏移1023）得到实际指数。
2. 用公式计算ulp：ulp = 2^(e - p + 1)，其中 p 是尾数的总位数（包括隐含的1位，单精度p=24，双精度p=53）。
   • 举个例子：
     • 单精度下，1.0的实际指数e=0，所以ulp=2^(0 -24 +1)=2^-23，和机器epsilon完全一致。
     • 单精度下，2.0的实际指数e=1，所以ulp=2^(1-24+1)=2-22，是1.0的ulp的两倍——因为指数每增加1，浮点数的间距就会翻倍。

针对非归一化浮点数 #

非归一化浮点数的ulp是固定值，等于 2^(emin - p +1)，其中 emin 是最小的实际指数（单精度emin=-126，双精度emin=-1022）。所有非归一化数的ulp都相同，用来填补归一化数无法覆盖的极接近0的区间。

另外，很多编程语言都提供了现成的工具：比如Python的math.ulp()可以直接计算任意浮点数的ulp；C++里的std::nextafter()能获取相邻的浮点数，进而算出ulp。

内容的提问来源于stack exchange，提问作者oldselflearner1959