如何通过Athena查询Parquet文件Schema中存储的自定义元数据

核心结论 #

Athena当前没有原生支持直接查询Parquet文件Schema级自定义元数据的能力，也没有对应的SerDe配置可以实现该需求，你可以通过以下两种方案落地：

方案1：修改Parquet写入逻辑（推荐） #

在生成Parquet文件的阶段，将Schema自定义元数据的取值作为普通列写入到每一行数据中，后续建表时直接新增对应的列定义，即可像查询普通字段一样查询该元数据值，该方案查询性能最高，无额外开销。

方案2：使用Athena自定义UDF读取 #

如果无法修改存量Parquet文件，可通过自定义Lambda UDF实现读取：

• 开发Lambda函数：入参为S3文件路径，函数内部读取目标Parquet文件的Schema元数据，返回你需要的自定义元数据值
• 在Athena控制台注册该Lambda为用户自定义函数
• 写查询语句时调用该UDF，传入内置字段$path即可得到对应文件的元数据，示例如下：

SELECT
  col1,
  col2,
  get_parquet_meta("$path", "my_metadata_key") AS my_metadata
FROM database.table

该方案不需要修改存量文件，但是查询时需要逐文件调用Lambda读取元数据，数据量较大时查询延迟会更高。

内容的提问来源于stack exchange，提问作者Matthew