如何实时或定期更新Athena中enum类型分区的取值集合

问题背景 #

S3中的Parquet文件按/fruit=.../year=.../month=.../day=.../前缀结构存储，对应的Athena表配置了enum类型的分区投影：

'projection.fruit.type'='enum',
'projection.fruit.values'='apple,banana,cherry',

当S3新增/fruit=date/前缀下的文件后，必须手动更新projection.fruit.values的取值范围，Athena才能查询到新分区的数据。需求是实现Athena分区与S3前缀自动同步，理想状态是实时同步，每天1-2次的刷新频率也可接受，且fruit的取值最多有几百个。

关于injected投影类型的说明 #

injected类型并不适用这个场景——它要求查询时手动指定占位符的值，无法自动从S3前缀中识别分区值，完全满足不了自动同步的需求。

可行同步方案 #

1. 基于Lambda的定期自动更新方案 #

这是目前最适配需求的变通方案，具体流程如下：

• 收集S3中的所有fruit分区值：编写Lambda函数，通过S3的ListObjectsV2接口遍历目标存储桶，过滤出所有以fruit=开头的前缀，提取并去重得到所有fruit的取值。
• 生成并执行ALTER TABLE语句：把收集到的fruit值拼接成逗号分隔的字符串，构造如下SQL语句：

  ALTER TABLE goods SET TBLPROPERTIES ('projection.fruit.values' = 'apple,banana,cherry,date,...');
  

  让Lambda调用Athena的StartQueryExecution接口执行这条语句，完成表投影配置的更新。
• 设置触发频率：通过EventBridge（原CloudWatch Events）给Lambda配置触发规则，按照需求每天执行1-2次，实现定期同步。

2. 实时同步优化方案（可选） #

如果需要接近实时的同步效果，可以结合S3事件通知实现：

• 给目标S3存储桶配置事件通知，当新的fruit=前缀目录被创建时，自动触发Lambda函数。
• Lambda收到事件后，提取新增的fruit值，先检查当前表的projection.fruit.values是否已包含该值，若未包含则执行ALTER语句更新配置。

  注意：需要处理重复触发的情况，避免重复执行更新操作；同时要考虑并发场景，防止多个Lambda实例同时更新导致配置冲突。

注意事项 #

• 当fruit取值接近几百个时，要确保拼接后的字符串长度不超过Athena表属性的限制（目前AWS允许的TBLPROPERTIES值长度足够支持几百个枚举值）。
• 执行ALTER TABLE语句的Lambda角色，需要拥有Athena的StartQueryExecution权限，以及访问目标S3存储桶的权限。

内容的提问来源于stack exchange，提问作者Pragmateek