Glue作业存S3 Parquet出现0E-16值，Athena读取异常如何解决

问题成因 #

• 浮点计算精度误差：Glue底层依赖的Spark SQL在执行double类型数值运算时，会产生极小的精度漂移，理论上应为0的结果实际值为1e-16量级的极小值，输出时就被序列化为0E-16的科学计数法格式。
• 序列化规则默认配置：写入S3时，CSV、Parquet等格式的默认浮点输出规则会自动将极小值转换为科学计数法表示，不会主动格式化为固定小数位的普通数值。
• Athena类型适配问题：你定义的double(32,16)仍属于浮点类型，本身不约束数值展示格式，读取科学计数法形式的极小值时，若上层查询或业务逻辑未兼容该格式就会触发异常。

解决方案 #

方案1：SQL层面直接修正 #

在Glue的SQL查询逻辑中新增精度校验和格式化，过滤极小值误差：

-- 误差小于1e-9的数值统一归为0，保留9位小数输出
SELECT 
  CASE WHEN ABS(`net amount`) < 1e-9 THEN 0.000000000 ELSE ROUND(`net amount`, 9) END AS `net amount`
FROM your_source_table

如果需要强制输出固定小数位的字符串避免序列化自动转格式，可以用格式化函数：

SELECT 
  FORMAT_NUMBER(CASE WHEN ABS(`net amount`) < 1e-9 THEN 0 ELSE ROUND(`net amount`,9) END, '0.000000000') AS `net amount`
FROM your_source_table

方案2：调整Glue Spark写入配置 #

在Glue作业中添加Spark参数，禁用浮点数值的科学计数法输出，以写入CSV为例：

# 全局配置Spark禁用科学计数法输出小数
spark.conf.set("spark.sql.bigDecimalFormat", "plain")
spark.conf.set("spark.sql.csv.output.format", "plain_number")

# 写入S3时的配置示例
glueContext.write_dynamic_frame.from_options(
    frame = output_dynamic_frame,
    connection_type = "s3",
    connection_options = {"path": "s3://your-target-bucket/storage-path/"},
    format = "csv",
    format_options = {"writeHeader": True},
    transformation_ctx = "output_sink"
)

方案3：修改字段类型为十进制类型 #

将Athena表的net amount字段类型从double(32,16)改为DECIMAL(32,9)，十进制类型按固定精度存储数值，从根源避免浮点精度漂移问题，写入时同步做类型转换即可：

SELECT 
  CAST(CASE WHEN ABS(`net amount`) < 1e-9 THEN 0 ELSE ROUND(`net amount`,9) END AS DECIMAL(32,9)) AS `net amount`
FROM your_source_table

内容的提问来源于stack exchange，提问作者Ashutosh Rai