如何在Glue Studio ETL任务运行前清除旧分区数据？

当然可以在添加新分区数据前清除旧数据，以下是几种实用方案：

1. 在Glue作业中加入预处理删除逻辑 #

直接在Glue任务的Python脚本开头添加S3文件删除代码，精准清理目标分区的旧数据：

import boto3

# 初始化S3客户端
s3 = boto3.client('s3')
bucket = '你的存储桶名称'
# 替换为本次任务要生成的分区路径前缀，比如按日期分区的路径
target_partition_prefix = 'processed-data/year=2024/month=06/day=15/'

# 列出分区路径下的所有对象并删除
obj_list = s3.list_objects_v2(Bucket=bucket, Prefix=target_partition_prefix)
if 'Contents' in obj_list:
    for item in obj_list['Contents']:
        s3.delete_object(Bucket=bucket, Key=item['Key'])

如果分区是动态生成的（比如基于任务运行时间），可以通过Glue作业参数或代码动态生成target_partition_prefix，确保只清理本次要更新的分区。

2. 修改Glue输出节点的写入模式为覆盖 #

在Glue Studio的输出节点配置中，将写入模式从默认的Append（追加）改为Overwrite（覆盖）：

• 这种方式会直接替换目标分区下的所有数据，无需额外写删除代码。
• 注意：如果是增量更新场景，要确保作业只针对特定分区进行覆盖，避免误删其他分区的有效数据。

3. 配置S3生命周期规则自动清理 #

针对目标分区的路径前缀，在S3存储桶中设置生命周期规则：

• 比如设置“当对象创建超过X小时/天自动删除”，或者结合任务运行周期设置定时清理。
• 此方案适合固定周期的批量任务，灵活性稍弱，但无需修改Glue作业代码。

注意事项 #

• 所有清理操作建议先在测试环境验证，避免误删重要数据。
• 如果使用分区覆盖，确保Glue作业的分区逻辑精准，只对目标分区进行操作。

内容的提问来源于stack exchange，提问作者Mark Hayward