AWS Athena Presto含短横线列名查询失败求助

问题场景 #

• S3存储的Ion格式数据（兼容JSON）顶级键为"foo-bar"，示例数据：

  {"foo-bar": {"name":"Mercury","distanceFromSun":0.39,"orbitalPeriod":0.24,"dayLength":58.65}}{"foo-bar": {"name":"Venus","distanceFromSun":0.72,"orbitalPeriod":0.62,"dayLength":243.02}}
  

• Glue表使用com.amazon.ionhiveserde.IonHiveSerDe，字段定义为foo-bar（反引号包裹）的struct类型
• 执行select "foo-bar".name时返回null，将数据键名改为foobar并同步修改表定义后，查询正常返回结果
• 尝试用反引号转义查询select foo-bar.name或select foo-bar.name``，均报错Queries of this type are not supported

核心原因 #

Ion Hive SerDe对包含短横线这类特殊字符的字段名存在兼容性问题：Athena/Presto的标识符转义逻辑（反引号）与SerDe的字段映射规则不匹配，导致无法正确关联表定义中的字段与原始数据的键名，进而触发查询不支持的错误或返回null。

解决方案 #

1. 修改数据与表结构（最稳定方案） #

直接规避特殊字符的兼容性问题：

• 将S3数据中的顶级键"foo-bar"改为无特殊字符的名称（如"foobar"）
• 同步更新Glue表的字段定义：

  ALTER TABLE planets_ion_2 CHANGE `foo-bar` foobar struct<name:string,distancefromsun:decimal(38,18),orbitalperiod:decimal(38,18),daylength:decimal(38,18)>;
  

• 后续直接使用正常字段名查询：select foobar.name from planets_ion_2

2. 配置SerDe字段映射（无需修改原始数据） #

利用Ion SerDe的字段映射功能，将带短横线的原始键映射为合法表字段名：

• 给Glue表添加映射属性：

  ALTER TABLE planets_ion_2 SET TBLPROPERTIES (
    'ion.mapping.foobar' = 'foo-bar'
  );
  

• 修改表字段定义为映射后的名称：

  ALTER TABLE planets_ion_2 CHANGE `foo-bar` foobar struct<name:string,distancefromsun:decimal(38,18),orbitalperiod:decimal(38,18),daylength:decimal(38,18)>;
  

• 查询时使用映射后的字段名即可正常获取数据

3. 临时 workaround：直接解析原始数据 #

如果无法修改表结构或数据，可尝试用json_extract函数直接解析原始数据（Ion兼容JSON格式）：

SELECT json_extract_scalar(cast(_raw_data as varchar), '$.foo-bar.name') as name
FROM planets_ion_2

注：_raw_data是Athena自动生成的原始数据字段，仅在部分SerDe场景下可用，此方法仅作为临时应急方案，不推荐长期使用。

内容的提问来源于stack exchange，提问作者Samer A.