如何解决Glue爬虫抓取全量分区致Athena表重复，仅保留最新分区？

以下是几种可行的解决思路，根据你的实际场景选择：

1. 动态更新Glue爬虫的目标路径，只抓取最新分区 #

• 编写Lambda函数，定期（比如每日）遍历s3://mybucket/mytable/下的日期前缀，筛选出最新的YYYY-MM-DD目录
• 在Lambda中调用Glue的UpdateCrawler API，将爬虫的Targets.S3Targets.Path更新为s3://mybucket/mytable/[最新日期]/
• 触发爬虫执行，此时爬虫只会扫描最新日期的分区数据，不会再加载旧分区

2. 在Athena层过滤最新分区（无需修改爬虫） #

如果不需要修改Glue元数据，仅需查询最新数据，可以直接在查询时过滤，或者创建视图：

• 查询时直接过滤：

  SELECT * FROM your_table 
  WHERE dt = (SELECT MAX(dt) FROM your_table);
  

• 创建持久化视图，后续直接查询视图即可：

  CREATE OR REPLACE VIEW latest_data_view AS 
  SELECT * FROM your_table 
  WHERE dt = (SELECT MAX(dt) FROM your_table);
  

3. 配置Glue爬虫的排除路径规则 #

如果旧分区的日期范围明确，可以在爬虫的S3目标中添加排除路径，避免扫描旧分区：

• 进入Glue爬虫配置的S3目标设置，添加排除路径，例如要排除2024年5月19日及之前的分区，可设置：
  s3://mybucket/mytable/2024-05-[01-19]/
• 注意：这种方式需要定期手动更新排除规则，适合日期规律且不需要频繁调整的场景

4. 手动管理Glue分区，替代爬虫自动扫描 #

放弃爬虫自动分区，改用脚本或API手动添加最新分区：

• 通过Lambda或其他脚本获取最新日期，调用Glue的CreatePartition API，指定最新分区的位置和分区键值
• 或者使用Athena命令仅加载最新分区（需确保分区目录已存在）：

  ALTER TABLE your_table ADD PARTITION (dt='[最新日期]') 
  LOCATION 's3://mybucket/mytable/[最新日期]/';
  

内容的提问来源于stack exchange，提问作者pralik