AWS S3生命周期规则执行完成是否有可追踪通知？批量删除策略咨询

我需要通过异步批量流程删除10万至100万个S3对象（数量无法精准预估），整理了三种策略但各存在问题，现寻求优化建议，尤其针对第三种方案的事件通知疑问：

策略1：自定义应用异步线程调用AWS S3 REST API #

存在的问题 #

• 单请求最多处理1000个对象，若无法精准定位目标对象，需发起大量API调用；
• 即使确定待删除对象，也需先执行GET再DELETE操作，成本较高；
• 需要跟踪已删除分片，中间失败时需自行构建重试机制。

策略2：使用S3生命周期规则（按客户前缀配置） #

存在的问题 #

• 存储桶按客户ID前缀存储多客户数据，客户增长后会触及单桶1000条规则的硬限制；
• 虽可删除旧规则释放配额，但缺少批量删除完成的事件通知；
• 客户增长后任务堆积，批量删除完成时间不可预测，可能需等待数日。

策略3：创建带特殊批量删除标签的单条S3生命周期规则 #

该方案可规避规则数量限制，S3生命周期规则每日执行一次（触发时间不固定），最多24小时内启动，执行完成需数分钟至数小时。但核心疑问：是否存在S3生命周期规则单次执行完成的通知事件，用于监听并将批量删除任务状态更新为DONE？ 若无此类通知，无法向触发删除的用户反馈状态。

针对性建议与疑问解答 #

关于策略3的核心疑问

AWS S3没有直接提供生命周期规则单次执行完成的事件通知，但可以通过以下替代方案实现状态跟踪：

1. 结合S3 Inventory + Lambda：
   • 配置S3 Inventory每日生成存储桶对象清单，筛选带目标删除标签的对象；
   • 用Lambda定期读取清单，当清单中无符合条件的对象时，标记任务为完成。
2. 监听S3 Delete事件：
   • 配置S3 Event Notification，将对象删除事件发送到Kinesis Firehose（缓冲大量事件）或SQS；
   • 通过消费事件统计删除数量，若能预估待删除对象总数，当统计数量达标时标记完成；若无法预估，可设置“连续N小时无删除事件”作为完成判定条件。

更推荐的替代方案：S3 Batch Operations

这是最适合批量删除大量S3对象的官方方案，完美解决现有策略的痛点：

• 筛选灵活：支持按前缀、标签或S3 Inventory清单筛选目标对象；
• 异步执行：AWS负责处理批量操作的分片、重试与失败处理，无需自行维护异步线程；
• 状态跟踪与通知：可在任务配置时指定SNS主题，当任务完成（成功/失败）时自动发送通知，直接用于更新任务状态；
• 成本更低：相比自定义API调用，批量操作的请求成本更优，且无需额外维护代码。

原有策略的优化方向

• 策略1优化：使用DeleteObjects API（一次删除1000个对象）替代单对象删除；结合ListObjectsV2分页获取目标对象（按前缀/标签筛选），无需先GET再DELETE；利用AWS SDK内置的重试机制，减少自行构建重试逻辑的复杂度。
• 策略2优化：该方案不适用于客户数量较多的场景，建议直接替换为S3 Batch Operations或策略3结合状态跟踪方案。

内容的提问来源于stack exchange，提问作者ayanb