使用MOD函数验证价格精度时出现无余数却返回余数的问题
用MOD函数验证整分价格时的异常问题解决
问题成因
这是二进制浮点数的精度缺陷导致的:
- 十进制里的有限小数(比如0.42、0.43),在二进制中是无限循环的小数,计算机存储这类数值时只能保留近似值,无法精确表示。
- 比如621.42在实际存储中可能是621.4199999999999,乘以100后得到62141.99999999999,而非精确的62142。此时用
MOD(PRICE*100,1)计算,得到的就是接近1的极小余数(而非0)。
解决方法
方法1:先四舍五入再取模
用ROUND函数把PRICE*100修正为精确整数,再计算余数:
MOD(ROUND(PRICE*100, 0), 1)
这个方法能直接消除浮点数的近似误差,让符合整分条件的数值返回0。
方法2:判断误差范围
由于浮点数的精度误差通常极小(远小于0.000001),可以通过判断PRICE*100与它的整数部分的差值是否小于极小值来验证:
ABS(PRICE*100 - INT(PRICE*100)) < 1e-6
返回TRUE则说明是整分价格。
方法3:用文本格式验证(适用于字符串类价格)
如果价格是文本格式,直接检查小数点后的位数是否不超过2:
LEN(RIGHT(PRICE, LEN(PRICE)-FIND(".", PRICE))) <= 2
注意:如果是数值转文本,要先设置为保留足够小数位的格式,避免丢失精度。
内容的提问来源于stack exchange,提问作者Jordan
相关产品推荐
相关产品推荐

