浮点数组缩放比例选择对算术运算精度的影响及最优方案咨询

基础认知验证 #

你对IEEE 754浮点数间隔的理解完全正确。同一二进制指数区间内的浮点数相邻绝对间隔固定，指数每升高1位，间隔翻倍，数值量级越大，绝对精度越低。你提到的3D场景相机远离原点出现的浮点漂移问题，正是高量级区间绝对间隔过大导致的典型表现。 #

重缩放的精度收益判断 #

• 运算完成后再做重缩放：你的判断正确，这个操作只会额外引入舍入误差，对精度没有任何正向收益，完全没必要执行。
• 生成数组、执行运算前做重缩放：确实可以显著降低运算误差，前提是你后续的运算以加减类操作为主。

缩放到[0,1]的截断风险说明 #

是否会出现小值截断，核心取决于你原始数据的量级差，而非缩放操作本身：

• 如果原始数据的最大最小绝对值差没有超过浮点数尾数位的覆盖范围（32位浮点约7个十进制数量级，64位约15个），缩放到[0,1]不会导致小值被截断，反而会因为所有数值落在低绝对间隔的区间，提升加减运算的精度。
• 如果量级差已经超过上述范围，不管是否缩放，小值和大值做加减运算时都会被“消去”，但缩放后这个问题不会比不缩放更严重。

最优缩放因子的启发式选择规则 #

已知原始数组的最大绝对值max_abs、最小绝对值min_abs的前提下，可按后续运算类型选择方案：

加减/求和类运算为主（包括你已经在用的Kahan求和） #

这是缩放收益最高的场景，按以下规则选缩放因子：

1. 除非业务强制要求数值从0开始，否则不要做减最小值的平移操作，平移会引入额外的减法误差，反而消耗小值的精度。
2. 缩放因子取1 / (max_abs * 2)，让缩放后的最大绝对值刚好落在[0.5, 1)区间，这个区间的绝对间隔是同量级下最低的，同时只要min_abs / max_abs大于浮点数的最小正规数（32位约1e-38，64位约1e-308），就不会出现下溢截断。
3. 如果数组包含正负对称的数值，也可以直接取缩放因子1 / max_abs，让所有数值落在(-1, 1)区间，精度收益基本一致。

乘除/幂运算为主 #

这类运算的误差以相对误差为主，缩放相当于所有数值乘以同一个常数，不会改变相对误差大小，因此不需要做额外缩放。 #

缩放和Kahan求和的配合效果 #

合理缩放确实可以进一步提升Kahan求和的精度。Kahan的补偿机制只能抵消部分舍入误差，当参与求和的数值量级差过大时，补偿量本身也会被大值吃掉，缩放拉平量级后，补偿机制的效率会大幅提升。 #

极端情况补充 #

如果数组的量级差已经超过了当前精度浮点数的尾数位覆盖范围，优先考虑换更高精度的浮点类型（比如从float换double，或使用128位长双精度），或者按数值量级分组求和后再合并，效果比调整缩放因子更好。

内容的提问来源于stack exchange，提问作者lightxbulb