Athena查询与S3数据不一致问题求助及已解决说明

问题现象 #

• 通过Athena直接查询S3中的数据时，total tax列部分数据点显示为0
• 同一数据源下，基于Athena的仪表盘中该列数据统计量约为40k，但直接下载S3文件查看该列数据量约为80k
• 查询使用的SQL语句：

SELECT "orderid","orderdate","total tax"
FROM gbc_owss

• Athena表中total tax列的数据类型定义为double

问题原因与解决方案 #

该问题已解决，根源是文件分隔符配置错误导致数据解析错位：Athena在解析S3存储的文本文件时，使用的分隔符与文件实际使用的分隔符不匹配，导致列数据映射错位——原本不属于total tax列的内容被错误解析到该列，部分无对应有效值的位置被填充为0，同时也造成了统计数据量的偏差。本质并非Athena修改了原始数据，只是解析逻辑出现了错误匹配。

内容的提问来源于stack exchange，提问作者Faraz Ahmed