PySpark中Float类型转换行为解析及误差预判方法

转换机制原理 #

Spark的FloatType对应32位单精度浮点数，DoubleType对应64位双精度浮点数。Python中的float本质是64位双精度浮点数，Spark进行类型转换时：

• 转FloatType：将Python的64位双精度浮点数舍入为32位单精度格式存储
• 转DoubleType：直接保留64位双精度存储格式，无精度损失

误差原因分析 #

问题核心是不同精度浮点数的精确表示范围差异：

• 单精度浮点数的尾数含隐含位共24位，只能精确表示二进制位数≤24位的整数，对应十进制范围为**-16777216 到 16777216**。77422223远超出该范围，无法被单精度精确表示，会被自动舍入到最近的可表示单精度数——77422224。
• 双精度浮点数的尾数含隐含位共53位，精确整数范围为**-9007199254740992 到 9007199254740992**，77422223在该范围内，因此能被精确存储。

如何预判此类误差 #

• 牢记精度边界：单精度精确整数边界为±16777216，双精度为±9007199254740992，超出对应范围的整数转换时必然出现误差。
• 提前验证失真情况：在Python中模拟转换测试，判断结果是否失真：

  original = 77422223.0
  # 模拟转单精度再转回双精度
  converted = float(np.float32(original))
  print(original == converted)  # 输出False，说明转换会失真
  

• 检查浮点数可表示性：用float.as_integer_ratio()查看原数是否能被目标精度精确表示，若分子分母的二进制位数超出目标精度的存储限制，则会出现误差。

复现代码与结果 #

转换为FloatType的代码 #

df = spark.createDataFrame([77422223.0],FloatType())
display(df)

输出结果：

转换为DoubleType的代码 #

df = spark.createDataFrame([77422223.0],DoubleType())
display(df)

得到结果：

内容的提问来源于stack exchange，提问作者BelowZero