PySpark中float转double精度丢失及分组求和结果异常如何解决

问题根因 #

这不属于PySpark的bug，是IEEE 754二进制浮点数标准的固有特性：

• 1.12、2.23这类十进制有限小数，无法用二进制浮点数（Float/Double）精确表示，你在存入FloatType字段时，实际存储的就是带微小误差的近似值，而非你以为的精确原值
• Float转Double的逻辑是将Float存储的近似值按位扩展为Double格式，不会自动修正为原始的十进制精确值，因此会把Float层面的微小误差放大展示出来
• PySpark对Float字段执行sum聚合时默认返回Double类型，因此误差会直接暴露在结果中

推荐解决方案 #

• 方案1：使用定点数DecimalType（最推荐，完全避免精度问题）
  适合对精度要求高的场景（比如金额、统计指标），定义Schema时直接使用指定精度的DecimalType，存储和计算全程都是精确的：

  from pyspark.sql.types import StructType, StructField, StringType, DecimalType
  # 定义精度为总10位，小数位2位，可根据实际业务需求调整
  schema = StructType([
      StructField("firstname",StringType(),True),
      StructField("middlename",StringType(),True),
      StructField("v",DecimalType(10,2),True)
  ])
  # 后续聚合不需要额外处理，结果自动为精确值
  df.groupBy("firstname","middlename").agg(sum("v").alias("sum_v")).show()
  

  输出结果会直接是3.35、7.78，无任何精度误差。
• 方案2：聚合后按业务要求四舍五入
  如果不需要完全精确，仅需要结果符合预期的小数位数，可在聚合后用round函数处理，比直接转回Float更可控：

  df.groupBy("firstname","middlename").agg(round(sum("v"),2).alias("sum_v")).show()
  

• 方案3：输入阶段统一为Double类型+精度截断
  如果存量数据已经是Float类型，可在读取数据时就转换为Double类型，聚合后再按业务需要的小数位截断，误差比直接用Float聚合更小。

内容的提问来源于stack exchange，提问作者에스파파