如何动态调整Athena Partition Projection范围适配3个月滚动时间周期

一、最近3个月滚动周期的实现方法 #

你之前了解的「创建表需要指定静态日期范围」是认知误区，Partition Projection原生支持相对时间表达式，完全可以适配动态滚动的时间周期，不需要写死固定起止日期。
针对你给出的存储路径示例s3://bucket-foo/path-bar/dt=2020-01-01/client=acme，可以直接通过以下建表配置实现自动适配最近3个月的查询需求：

CREATE EXTERNAL TABLE IF NOT EXISTS your_table (
  -- 替换为你的实际业务字段
  request_id string,
  cost double,
  content string
)
PARTITIONED BY (
  dt date,
  client string
)
-- 以下存储格式配置按你实际的文件格式调整，示例为Parquet格式
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION 's3://bucket-foo/path-bar/'
TBLPROPERTIES (
  'projection.enabled' = 'true',
  -- dt分区动态时间配置
  'projection.dt.type' = 'date',
  'projection.dt.range' = 'NOW-3MONTHS,NOW',
  'projection.dt.interval' = '1',
  'projection.dt.interval.unit' = 'DAYS',
  'projection.dt.format' = 'yyyy-MM-dd',
  -- client分区配置，已知枚举值用enum，不确定则用injection允许查询时传入任意值
  'projection.client.type' = 'enum',
  'projection.client.values' = 'acme,other_client1,other_client2'
)

配置完成后，每次执行查询时，Athena会自动将NOW替换为查询发起的当前时间，动态计算出最近3个月内的所有合法dt分区值，不会处理超出范围的分区路径。

二、是否需要手动更新日期范围/执行ALTER TABLE #

不需要执行任何ALTER TABLE操作来维持范围有效性：

• 只要你使用相对时间表达式作为range值，Athena每次查询都会实时计算有效时间范围，完全自动适配时间滚动，无需人工干预
• 仅当你需要调整滚动周期（比如从3个月改为6个月）时，才需要修改表的TBLPROPERTIES配置

三、和传统ALTER TABLE删除过时分区的核心区别 #

两种方案的底层逻辑完全不同，核心差异如下：

• 传统分区方案依赖Glue元数据存储的分区列表：
  • 新增分区需要手动执行ALTER TABLE ADD PARTITION或者通过Glue爬虫定期扫描同步，否则查不到新数据
  • 过期分区如果不执行ALTER TABLE DROP PARTITION删除元数据，查询时仍然会扫描对应分区路径，会额外消耗扫描成本
  • 删分区操作仅删除元数据，S3上的旧数据不会被删除，后续需要查询旧数据时要重新添加分区元数据
• Partition Projection方案不依赖预存的分区元数据：
  • 每次查询时根据配置动态生成有效分区的S3路径，直接扫描对应路径，不需要提前加载分区元数据，分区量级大的时候查询延迟更低
  • 超出range范围的时间分区不会生成对应路径，自然不会被扫描，完全不需要手动执行删分区操作
  • 如果临时需要查询旧数据，不需要变更表配置，只要查询时手动指定dt的时间范围，只要S3上还留存对应路径的数据就能直接查询

注意：Partition Projection不会限制你查询超出配置range的时间范围，仅当你未在查询中指定dt条件时，才会默认按照配置的range生成扫描范围。如果你的S3上的旧数据已经删除，即使用户指定查询超出3个月的dt，也只会返回空结果，不会报错。

内容的提问来源于stack exchange，提问作者Murali Varma