Hive使用Float数据类型存储整数出现精度丢失问题咨询

核心原因 #

Hive 中的 FLOAT 数据类型遵循 IEEE 754 单精度浮点数标准，仅占用 32 位存储空间，其中 1 位为符号位、8 位为指数位、23 位为尾数位。这种存储结构决定了它的十进制有效精度仅为 6~7 位，仅能精确存储绝对值小于 2^24（即 16777216）的整数，超出该范围的整数无法保证精确存储。

现象解释 #

你写入的3个数值均远大于 16777216，因此会出现精度损失的情况：

• 300000000000、900000000000 不属于单精度浮点数可精确表示的整数范围，写入时会被舍入到最接近的可表示浮点值，因此查询结果和原始值存在偏差
• 1000000000000 刚好符合单精度浮点数的可精确表示规则（是对应指数下最小刻度的整数倍），因此查询结果和原始值一致

优化建议 #

如果需要精确存储大整数值、金额类数据，不要使用 FLOAT/DOUBLE 这类浮点类型，建议改用定点类型 DECIMAL，例如建表时将 amount 字段定义为 DECIMAL(20,0) 即可精确存储最大 20 位的整数值。

内容的提问来源于stack exchange，提问作者Sonnh