Athena查询Delta Lake表时自动同步分区的技术咨询

核心结论 #

• 直接用Athena读取S3上的Delta Lake表时，不需要手动同步分区，Athena会自动从Delta的_delta_log事务日志中获取最新的分区信息，也无需执行MSCK REPAIR或生成清单文件。
• 是否需要AWS Glue爬虫，取决于你是否依赖Glue数据目录管理表元数据：
  • 若仅通过Athena直接读取Delta表，无需Glue爬虫；
  • 若依赖Glue数据目录（比如跨服务共享表元数据），且Delta表后续通过非Athena引擎（如Spark）做了分区新增、Schema变更等操作，则需要用Glue爬虫同步元数据。

对官方文档表述的澄清 #

1. "无需清单文件或MSCK REPAIR"：
   这个表述针对的是直接读取已存在的Delta Lake表的场景。Delta Lake的事务日志本身就完整维护了表的所有元数据（包括分区、Schema、数据版本等），Athena作为Delta兼容读取器，会直接解析这份日志来获取最新的表状态，所以不需要传统Hive表那样的MSCK REPAIR来同步分区。

2. "用Glue爬虫保持表最新状态"：
   这个表述针对的是通过Athena创建Delta表并同步元数据到Glue的场景。当你用Athena创建Delta表时，Athena会把初始的表元数据（Schema、分区列等）同步到Glue数据目录，但如果后续你通过其他Delta兼容引擎（比如Spark）对表做了分区新增、Schema修改等操作，Glue中的元数据就会和Delta事务日志里的最新状态脱节。此时运行Glue爬虫，会让Glue重新读取Delta的事务日志，更新元数据，确保基于Glue的查询或其他服务能获取最新的表信息。

内容的提问来源于stack exchange，提问作者Jatin