DynamoDB对接Athena：动态演化Map字段的Schema适配方案咨询

方案1：将Glue表中my_map的类型改为Map而非固定Struct #

Athena依赖Glue元数据识别Schema，若Glue爬虫将my_map识别为固定Struct，可手动修改Glue表的Schema：

• 把my_map的类型定义为map<string, struct<data:struct<datatype:string, value:string, unit:string>, xyz:string>>（根据你的实际数据结构调整嵌套字段）
• 查询时可通过键名直接访问动态子字段，示例：

  SELECT my_map['new_sub_field_x'].data.value FROM your_table WHERE item_id = '1235'
  

• 若要适配Grafana可视化，可通过UNNEST将Map展开为行结构，方便分组过滤：

  SELECT
    item_id,
    map_key AS sub_field_name,
    map_value.data.datatype,
    map_value.data.value,
    map_value.data.unit,
    map_value.xyz
  FROM your_table
  CROSS JOIN UNNEST(entries(my_map)) AS t(map_key, map_value)
  

方案2：利用DynamoDB Streams + Lambda自动更新Glue Schema #

如果需要保留Struct类型的直观查询方式，可通过实时流处理自动维护Schema：

• 开启DynamoDB Streams，捕获my_map新增子字段的变更事件
• 编写Lambda函数，解析流中的新字段结构，调用Glue API更新对应表的Schema，将新子字段添加到my_map的Struct定义中
• 优点是查询时可直接用my_map.new_sub_field_x的方式访问；缺点是需要开发维护Lambda逻辑，字段过多时Schema会过度膨胀。

方案3：直接解析DynamoDB原始JSON数据 #

Athena的DynamoDB连接器会保留完整的原始item JSON结构（通常存储在item字段），可通过JSON函数动态提取字段：

• 使用json_extract或json_parse函数查询动态子字段，示例：

  SELECT
    json_extract_scalar(item, '$.my_map.new_sub_field_x.M.data.M.value.N') AS value,
    json_extract_scalar(item, '$.my_map.new_sub_field_x.M.data.M.unit.S') AS unit
  FROM your_table WHERE item_id = '1235'
  

• 优点是完全无需修改Schema，适配所有动态字段；缺点是查询语句较长，性能略低于直接使用Map/Struct类型。

关于Glue爬虫的补充说明 #

你提到Glue爬虫无法被Athena使用，大概率是配置问题：Glue爬虫可直接以DynamoDB为数据源，爬取后生成的Glue表可直接被Athena查询。需检查：

• 爬虫数据源是否正确选择目标DynamoDB表
• 爬虫的Schema更新策略是否设置为「更新表定义」（而非仅创建表时更新）
• 若爬虫仍将Map识别为固定Struct，手动修改Schema为Map类型即可。

内容的提问来源于stack exchange，提问作者Nisarg