Spark（PySpark与SQL）中科学计数法转十进制出现非确定性结果的问题排查

你遇到的非确定性结果，核心其实是IEEE 754浮点数的精度限制，和Spark本身的配置关系不大，反而和浮点数的本质特性有关——咱们一步步拆解：

为什么三个数值转换后结果一致？ #

不管是直接用科学计数法3.57080748200000147E17，还是用value * power(10,x)的写法，这些数值在Spark里都会被默认解析为Double类型（64位浮点数）。而Double的有效精度只有53位二进制，换算成十进制大概是15-17位有效数字。

你的目标数值是18位精度的，这意味着多个看似不同的十进制数，会被压缩成同一个Double值——因为Double没法精确存储超过17位的十进制有效数字。你可以用这条SQL验证：

SELECT 
  3.57080748200000147E17 = 3.570807482000001E17,
  3.57080748200000147E17 = 3.5708074820000013E17;

结果会是true, true——这三个数在Double里完全是同一个值，转成Decimal后自然得到相同结果。

怎么解决这个精度丢失问题？ #

如果需要精确处理这类高精度数值，绝对不要用浮点数解析，而是直接用字符串形式传入，再转换为Decimal：

SELECT CAST('357080748200000147' AS DECIMAL(18,0)) union all 
SELECT CAST('357080748200000100' AS DECIMAL(18,0)) union all 
SELECT CAST('357080748200000130' AS DECIMAL(18,0));

字符串解析Decimal时不会经过浮点数的精度丢失环节，这样就能得到三个不同的精确结果。

关于Java底层的影响？ #

Spark确实依赖Java的数值类型实现，Double类型就是对Java double的封装，但这个问题不是Java的bug——而是所有遵循IEEE 754标准的浮点数系统都存在的特性，Python、C++等语言里也会出现同样的精度限制问题。

内容的提问来源于stack exchange，提问作者JanKo