AWS S3存储桶全量删除及按指定日期范围删除对象咨询

全量删除2019年以来所有对象的方法 #

首先排查此前生命周期规则未生效的核心原因，按优先级检查如下项：

• 规则启用状态：确认delete-all-from-start、delete-all-from-start-2两条规则已设置为启用状态，未启用的规则不会被AWS调度执行
• 规则匹配范围：检查规则是否设置了前缀、标签过滤条件，如需删除全桶对象，需留空前缀配置、不设置标签过滤规则，保证规则匹配桶内所有对象
• 版本控制适配：如果存储桶开启了版本控制，仅配置对象过期规则只会为对象新增删除标记，不会真正清除存储占用，需要额外配置删除当前版本对象、删除非当前版本对象、永久清理删除标记三个规则项
• 执行延迟适配：S3生命周期规则为异步调度机制，常规场景下首次执行需要24-48小时启动，针对5000万+小文件的70TB大容量桶，全量扫描和执行周期最长可达7天，配置完成后可通过S3存储桶指标监控对象数量变化

如果需要加快删除速度，可选择S3 Batch Operations方案：

• 直接创建全桶范围的批量删除任务，AWS后台会调度资源批量执行删除操作，优先级高于生命周期规则，执行速度更快，无需占用本地资源
• 也可在同区域EC2中执行CLI命令批量删除：

aws s3 rm s3://jananath-logs-bucket-new --recursive --no-cli-pager

执行前可加--dryrun参数预校验删除范围，避免误删。

指定日期范围对象删除方法 #

支持精准删除指定创建日期范围的对象，常用实现方案如下：

• 生命周期规则方案：配置过期条件为「指定日期前创建的对象过期」，如需删除2020-2021年创建的对象，可先配置规则删除2022年1月1日前创建的对象，再配置保留规则保留2020年1月1日前的对象即可；也可先为目标日期范围的对象批量打上标签，再针对标签配置过期规则，精准度更高
• 批量操作方案：通过S3 Inventory导出桶内所有对象的创建时间元数据，筛选出2020-01-01至2021-12-31创建的对象生成清单，导入S3 Batch Operations执行批量删除，适合超大规模对象场景，执行稳定性更高
• CLI命令方案：通过list-objects-v2接口过滤指定时间范围的对象再批量删除，示例命令如下：

aws s3api list-objects-v2 --bucket jananath-logs-bucket-new --query "Contents[?LastModified>='2020-01-01' && LastModified<='2021-12-31'].Key" --output text | xargs -I {} aws s3 rm s3://jananath-logs-bucket-new/{}

内容的提问来源于stack exchange，提问作者Jananath Banuka