如何在AWS Athena中使用S3对象键中的参数进行查询？

问题描述 #

我的S3对象键结构如下：

year=X/month=Y/day=Z/hour=I/minute=J/something.gz

请问能否在AWS Athena查询中直接使用类似... WHERE year=2022的方式引用这些参数，还是必须对$path使用regexp_like进行处理？

解答 #

完全可以直接用WHERE year=2022这种方式查询，前提是你把这些year、month、day等字段配置成Athena表的分区列，具体有两种实现方式：

• 手动建表时，在表定义里指定分区列（比如PARTITIONED BY (year string, month string, day string, hour string, minute string)），之后可以通过ALTER TABLE ADD PARTITION手动添加分区，或者执行MSCK REPAIR TABLE命令让Athena自动识别S3上的分区结构。
• 用AWS Glue爬虫建表：只要爬虫配置正确，它会自动识别这种key=value格式的分区路径，自动把year、month等作为分区列添加到表中。

如果没有将这些字段设置为分区列，那确实需要通过regexp_like($path, 'year=2022')这类方式匹配路径，但这种方法效率极低——因为它需要扫描所有S3对象的路径，而分区查询会直接跳过不符合条件的分区对象，大幅减少数据扫描量，提升查询速度和降低成本。

内容的提问来源于stack exchange，提问作者ablaszkiewicz1