AWS Athena按日期分区配置Partition Projection后仍需MSCK Repair问题咨询

你的配置存在两处核心错误，直接导致分区投影功能失效，必须手动执行MSCK Repair才能识别分区：

• 配置键名拼写错误：你使用的'projection.enables'='true'不符合规范，正确键名为'projection.enabled'='true'（为单数形式，无末尾s），拼写错误会直接关闭分区投影功能。
• 遗漏必选配置项storage.location.template：分区投影需要明确告知Athena如何根据生成的分区值拼接对应的S3访问路径，未配置该属性时，Athena无法定位投影分区对应的实际数据路径。

修正后完整配置示例 #

替换storage.location.template为你实际的S3数据路径即可，注意路径需匹配你的day=yyyy/mm/dd分区目录格式：

TBLPROPERTIES (
  'has_encrypted_data'='false',
  'projection.enabled'='true',
  'projection.day.type'='date',
  'projection.day.format'='yyyy/mm/dd',
  'projection.day.range'='2017/01/01,NOW',
  'projection.day.interval'='1',
  'projection.day.interval.unit'='DAYS',
  'storage.location.template'='s3://你的S3桶名/你的表数据根路径/day=${day}'
)

补充说明 #

• 修正配置后无需再执行MSCK REPAIR TABLE，也不需要通过Glue爬取同步分区元数据，Athena会根据投影规则自动生成虚拟分区元数据，实时匹配range范围内的所有日期分区，新增的每日分区会自动被识别，无需额外运维。
• 你之前遇到的Glue同步2017年分区生成1500张单天表的问题，是Glue爬虫配置错误导致：默认爬虫会将不同路径下的数据集识别为独立表，使用分区投影后完全绕开了这个问题。

内容的提问来源于stack exchange，提问作者Matan Stern