如何将AWS Athena查询结果输出为JSON格式而非S3默认CSV
Athena获取JSON格式查询结果的实现方法
有三种可直接落地的原生实现方式,不需要搭建复杂的额外依赖:
- 方案1:查询层直接生成JSON格式行
利用Athena内置的json_object函数,在编写查询时就将每行数据拼接为合法JSON字符串,不需要后续做格式转换。针对你给出的示例表结构,可直接执行如下语句:
这种方式就算查询结果默认以CSV格式存储到S3,CSV单元格内的内容本身就是合法的JSON对象。针对你给出的三行示例数据,最终生成的每一行JSON内容对应为:SELECT json_object( 'first_name' KEY first_name, 'age' KEY age ) AS json_content FROM table1{"first_name": "a", "age": 20}{"first_name": "b", "age": 30}{"first_name": "c", "age": 35}
后续只需要将这些内容组装为JSON数组,就是下游应用可直接使用的标准JSON数据。
- 方案2:调整Athena结果输出配置为JSON格式
可在所属的Athena工作组(Workgroup)配置中,修改查询结果的序列化输出格式,将默认的CSV替换为JSON格式。配置完成后,该工作组下所有查询执行完成后,会直接将JSON格式的结果文件写入指定S3路径,输出为通用的JSON Lines结构(每行对应一个独立数据对象),多数下游应用可直接读取解析,不需要二次转换。 - 方案3:基于已存的CSV结果做轻量转换
如果不想修改现有Athena配置,也可以直接对已经存储在S3中的CSV结果做格式转换:- 使用S3 Select直接对目标CSV文件发起查询,指定输出格式为JSON,无需全量下载文件就能获取转换后的JSON数据流
- 配置S3事件触发Lambda函数,在Athena结果写入S3后自动读取CSV内容转换为标准JSON对象,再推送到下游处理链路
内容的提问来源于stack exchange,提问作者dan dolev
相关产品推荐
相关产品推荐

