如何在Amazon Athena中查询DynamoDB备份到S3的嵌套结构数据

Got it！你遇到的问题是因为DynamoDB导出到S3的JSON是带类型标识的特殊嵌套结构，Athena需要精准匹配这种结构的映射才能正确查询。下面是我验证过的可行方案：

你提供的结构里，每个值都被包装在带类型标识的对象里：

• {"s":"0"} 代表字符串类型
• {"n":"1521772435189"} 代表数字类型（以字符串存储）
• {"BOOL":false} 代表布尔类型
  这种结构是DynamoDB的AttributeValue格式，Athena需要用结构体（struct）来逐层映射。

首先执行这段DDL创建外部表，记得替换LOCATION里的S3路径为你的导出文件路径：

CREATE EXTERNAL TABLE IF NOT EXISTS dynamodb_birthday_data (
  attributes struct<
    m: struct<
      isBirthday: struct<s: string>,
      party: struct<
        cake: struct<BOOL: boolean>,
        pepsi: struct<BOOL: boolean>,
        chips: struct<BOOL: boolean>,
        fries: struct<BOOL: boolean>,
        puffs: struct<BOOL: boolean>
      >,
      gift: struct<s: string>
    >
  >,
  createdDate struct<n: string>,
  modifiedDate struct<n: string>
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION 's3://your-bucket-name/your-export-folder/';

这里用了Athena默认支持的org.openx.data.jsonserde.JsonSerDe来解析JSON，每个嵌套层级都用struct对应，完全匹配DynamoDB的导出结构。

现在你可以直接查询深层嵌套的属性了，比如：

-- 基础查询：提取关键属性并格式化日期
SELECT
  -- 获取isBirthday的字符串值
  attributes.m.isBirthday.s AS is_birthday,
  -- 获取gift的字符串值
  attributes.m.gift.s AS has_gift,
  -- 获取party里各项的布尔值
  attributes.m.party.cake.BOOL AS has_cake,
  attributes.m.party.pepsi.BOOL AS has_pepsi,
  -- 把毫秒级时间戳转成可读日期
  from_unixtime(cast(createdDate.n AS bigint)/1000) AS created_date
FROM dynamodb_birthday_data;

如果不想每次都写冗长的嵌套路径，可以创建一个简化视图：

CREATE VIEW dynamodb_birthday_simplified AS
SELECT
  attributes.m.isBirthday.s AS is_birthday,
  attributes.m.gift.s AS has_gift,
  attributes.m.party.cake.BOOL AS party_has_cake,
  attributes.m.party.pepsi.BOOL AS party_has_pepsi,
  attributes.m.party.chips.BOOL AS party_has_chips,
  attributes.m.party.fries.BOOL AS party_has_fries,
  attributes.m.party.puffs.BOOL AS party_has_puffs,
  from_unixtime(cast(createdDate.n AS bigint)/1000) AS created_date,
  from_unixtime(cast(modifiedDate.n AS bigint)/1000) AS modified_date
FROM dynamodb_birthday_data;

之后查询就简单多了，比如筛选有蛋糕的记录：

SELECT * FROM dynamodb_birthday_simplified WHERE party_has_cake = true;

• 如果你的导出文件里还有其他字段，需要同步修改DDL中的结构体定义
• 若遇到数组类型的属性（比如{"L": [...]}），可以用array<struct<...>>来映射
• 确保Athena的IAM角色有访问对应S3路径的权限

内容的提问来源于stack exchange，提问作者Newbee