Spark：恢复Hive分区时如何仅保留最近6个月的分区

核心逻辑 #

你的表是按日期分区的外部表（通过Athena访问，底层存储在S3），要实现恢复分区时自动保留最近6个月、无需手动删除，可从ETL过滤分区恢复或S3生命周期自动清理+元数据同步两个方向实现：

方案一：ETL流程中精准控制分区恢复 #

在执行分区恢复操作前，先筛选出最近6个月的分区，只恢复有效分区，同时清理过期的分区元数据。

1. 计算过期截止日期
   用Athena的日期函数直接算出6个月前的日期，比如：

   -- 精确计算6个月前的日期
   SELECT ADD_MONTHS(CURRENT_DATE, -6) AS cutoff_date;
   -- 或用180天近似6个月
   SELECT DATE_SUB(CURRENT_DATE, 180) AS cutoff_date;
   

2. 生成仅含有效分区的恢复语句
   不建议直接用MSCK REPAIR TABLE（会加载所有S3上的分区），而是用脚本筛选后生成ALTER TABLE ADD PARTITION语句执行。以Shell脚本为例（假设S3路径为s3://your-bucket/table-path/dt=yyyy-MM-dd/）：

   # 获取6个月前的日期，格式匹配分区字段
   cutoff_date=$(aws athena start-query-execution --query-string "SELECT DATE_FORMAT(ADD_MONTHS(CURRENT_DATE, -6), '%Y-%m-%d')" --result-configuration "OutputLocation=s3://your-query-results/" --query-execution-context "Database=your_db" | jq -r '.QueryExecutionId' | xargs aws athena get-query-results | jq -r '.ResultSet.Rows[1].Data[0].VarCharValue')
   
   # 遍历S3分区路径，筛选有效分区并生成SQL
   aws s3 ls s3://your-bucket/table-path/ --recursive | grep "dt=" | awk -F 'dt=' '{print $2}' | cut -d '/' -f1 | sort | while read dt; do
       if [[ "$dt" > "$cutoff_date" ]]; then
           echo "ALTER TABLE your_table ADD PARTITION (dt='$dt') LOCATION 's3://your-bucket/table-path/dt=$dt/';"
       fi
   done > add_partitions.sql
   
   # 执行SQL脚本同步分区
   aws athena start-query-execution --query-string "$(cat add_partitions.sql)" --query-execution-context "Database=your_db" --result-configuration "OutputLocation=s3://your-query-results/"
   

3. 清理过期分区元数据
   执行完有效分区恢复后，删除元数据中过期的分区：

   -- 仅删除元数据，不删除S3数据（外部表默认行为）
   ALTER TABLE your_table DROP IF EXISTS PARTITION (dt < ADD_MONTHS(CURRENT_DATE, -6));
   
   -- 如果需要同时删除S3数据，加上PURGE参数
   ALTER TABLE your_table DROP IF EXISTS PARTITION (dt < ADD_MONTHS(CURRENT_DATE, -6)) PURGE;
   

方案二：S3生命周期自动清理+元数据同步 #

利用S3的生命周期规则自动删除旧分区数据，再通过MSCK REPAIR TABLE同步元数据，自动移除无效分区。

1. 配置S3生命周期规则
   登录S3控制台，找到表对应的存储桶路径，创建规则：

   • 规则范围：指定前缀为table-path/dt=（覆盖所有分区）
   • 过期设置：选择“在对象创建后180天过期”（或按创建日期计算的6个月）
   • 可选：添加“非当前版本过期”规则，确保历史版本也被清理

2. ETL末尾同步元数据
   在每次ETL流程结束后执行：

   MSCK REPAIR TABLE your_table;
   

   Athena会自动检测S3上已被删除的分区，并从元数据中移除它们，无需手动筛选。

注意事项 #

• 确保分区字段的日期格式统一（比如yyyy-MM-dd），避免筛选逻辑出错
• 外部表执行DROP PARTITION时，默认不会删除S3数据，需加PURGE才会删除；内部表会自动删除数据
• 先在测试环境验证逻辑，避免误删生产数据

内容的提问来源于stack exchange，提问作者pradeep nadarajan