删除S3存储桶按前缀分组后非字典序末尾对象（百万级可扩展方案）

现有一个S3存储桶，对象键名示例如下：

abc_1_epoch1.ext
abc_1_epoch2.ext
abc_2_epoch1.ext
xyz_1_epoch1.ext

需要按前缀（如abc_1、abc_2、xyz_1）分组，每组内保留字典序最后一个对象，删除其余对象。清理后预期留存的对象如下：

abc_1_epoch2.ext
abc_2_epoch1.ext
xyz_1_epoch1.ext

存储桶内有数百万个对象，需可扩展的解决方案。

方法1：AWS CLI + 本地脚本（适合中小规模或测试验证） #

通过S3 CLI批量拉取对象列表，用脚本分组筛选后批量删除：

1. 导出存储桶所有对象键到本地文件：

aws s3api list-objects-v2 --bucket YOUR_BUCKET_NAME --query 'Contents[].Key' --output text > all_keys.txt

2. 用Python脚本筛选待删除对象：

from collections import defaultdict

# 读取所有对象键
with open('all_keys.txt', 'r') as f:
    keys = [line.strip() for line in f if line.strip()]

# 按前缀分组（前缀为_epoch之前的部分）
groups = defaultdict(list)
for key in keys:
    prefix = key.split('_epoch')[0]
    groups[prefix].append(key)

# 收集每组需删除的对象（排除字典序最后一个）
to_delete = []
for key_list in groups.values():
    key_list.sort()
    to_delete.extend(key_list[:-1])

# 写入待删除列表文件
with open('to_delete.txt', 'w') as f:
    f.write('\n'.join(to_delete))

3. 批量删除对象（单次最多删除1000个，超过则分割文件分批执行）：

aws s3api delete-objects --bucket YOUR_BUCKET_NAME --delete "Objects=$(printf '{"Key":"%s"},' $(cat to_delete.txt) | sed 's/,$//'), Quiet=true"

方法2：AWS Lambda + S3 Inventory（适合百万级大规模对象） #

无服务器方案，高效处理海量对象：

1. 启用S3存储桶清单：配置每日生成CSV格式的对象清单，包含对象键名，清单文件存储到另一个S3桶中。
2. 创建Lambda函数：
   • 触发规则：当清单文件生成时自动触发。
   • 核心逻辑：
     • 读取清单CSV文件，分页提取所有对象键。
     • 按前缀分组，筛选每组需删除的对象。
     • 调用S3 delete_objects API，每次批量删除1000个对象。
3. 优化配置：
   • 给Lambda分配至少1GB内存，设置15分钟超时时间。
   • 启用异步调用或批量处理模式，规避并发限制。

方法3：S3批量操作（Batch Operations） #

利用AWS原生功能，无需编写复杂代码：

1. 生成待删除清单：通过S3 Inventory获取全量对象列表，用脚本处理后生成CSV格式的待删除清单（第一行为Key）。
2. 创建批量删除任务：
   • 登录AWS控制台进入S3批量操作页面，选择「删除对象」任务类型。
   • 上传待删除CSV清单，配置具备S3删除权限的执行角色，启动任务。
3. 优势：AWS自动处理并发、重试和进度跟踪，无需维护自有计算资源，适合超大规模对象清理。

• 先做测试：在测试桶中验证逻辑，避免误删重要对象。
• 权限配置：确保执行工具（CLI/Lambda/批量操作）拥有S3的ListBucket和DeleteObject权限。
• 成本控制：S3 Inventory、Lambda和批量操作的成本极低，百万级对象清理的费用可忽略。

内容的提问来源于stack exchange，提问作者Shubham