NumPy结合Numba使用astype转np.int32时出现异常重复0值问题
异常现象的根本原因
- 该问题并非
astype方法本身的逻辑错误,是Numba NJIT编译环境下的np.linspace实现精度偏差,结合浮点数转整数的向零截断规则共同触发的异常。 - 精度偏差的来源:Numba在NJIT模式下对
np.linspace的实现,早期版本采用逐次累加步长的方式生成数组序列,和原生NumPy通过线性插值公式直接计算每个元素值的实现逻辑不同。这种逐次累加的方式会不断放大浮点精度误差:当数组长度从12个点提升到24个点时,在本该取值为1.0的元素位置,经过多次累加后实际内存中存储的浮点值并非严格等于1.0,而是略小于1.0(例如0.9999999999999999这类和1.0差值小于1e-15的极小值)。 - 类型转换的规则影响:无论是Numba NJIT下的浮点转整数实现,还是底层C语言层面的浮点数转整数逻辑,统一采用向零截断取整的规则——只要实际存储的浮点值小于目标整数值,哪怕差距极小,也会被截断为更靠近0的整数。上述略小于1.0的数值,经过截断后就会得到整数0,而非预期的1。
- 初始短序列测试没有触发问题的原因:短序列的逐次累加次数少,累计的精度偏差还没有达到让接近整数的元素值跌破整数值的程度,所有点的浮点值都足够接近预期整数,截断后结果符合预期。当序列长度翻倍后,累计误差累积到触发临界点,才出现了本该转成1的元素被转成0,和原本
0.0元素转成的0形成连续两个0的异常输出。
补充:原生NumPy环境下不会复现该问题,因为原生NumPy的
linspace会直接通过公式start + step * index计算每个元素值,单次计算的精度误差远小于逐次累加的误差,不会出现本该为1.0的元素值跌破1.0的情况。
内容的提问来源于stack exchange,提问作者mimo
相关产品推荐
相关产品推荐

