DynamoDB导出S3后Athena查询格式异常，求解决方案

问题根源 #

DynamoDB导出到S3的JSON数据采用嵌套结构，每个属性都带有类型标识（如s代表字符串、n代表数字），默认Glue分类器无法自动解析这种嵌套结构，导致Athena查询时只能看到完整的Item对象。

解决方法 #

方法1：通过Glue自定义分类器+表结构配置（推荐，永久生效） #

1. 创建自定义JSON分类器

   • 打开Glue控制台，进入「分类器」页面，点击「添加分类器」→选择「JSON分类器」
   • 分类器名称：例如dynamodb-export-classifier
   • JSON路径：填写$[*].Item，该路径会告诉Glue将每行数据中的Item对象解析为单条记录
   • 保存分类器

2. 更新或创建Glue表

   • 若已有对应表：进入Glue「表」页面，找到目标表→「编辑表」→「添加列」
     • 添加列key，类型选string；添加列key2，类型选int
     • 切换到「存储信息」标签，在「SerDe参数」中添加：

       paths: ["Item.key.s", "Item.key2.n"]
       

   • 若新建表：运行Glue爬虫时选择刚才创建的自定义分类器，爬虫会自动识别Item下的嵌套字段；若爬虫未正确解析，可手动编辑表结构添加上述列和SerDe参数

方法2：直接在Athena查询中解析字段（临时查询适用） #

无需修改Glue表结构，查询时直接提取嵌套字段并转换类型：

SELECT
  Item.key.s AS key,
  CAST(Item.key2.n AS INTEGER) AS key2
FROM your_table_name;

注意事项 #

• 若你的DynamoDB表有其他数据类型（如b代表二进制、bool代表布尔），需对应调整字段提取路径和类型（如Item.flag.bool）
• 确保S3路径权限配置正确，Glue和Athena能正常访问该路径

内容的提问来源于stack exchange，提问作者MikeF