如何高效查找并删除Amazon S3中特定扩展名的对象？

哈哈，这个问题我太熟了——全量遍历所有对象再判断后缀确实是个大坑，尤其是当桶里有几十万甚至上百万对象的时候，不仅LIST请求的费用会蹭蹭涨，遍历过程也慢得离谱。下面给你几种更高效、低成本的方案，按适用场景排序，你可以按需选：

1. 首推：S3 Batch Operations + S3 Inventory（大规模对象场景） #

这是AWS官方最推荐的处理大规模对象批量操作的方案，几乎不用自己写代码，成本还极低：

• 第一步：生成S3 Inventory清单
  先给你的目标存储桶开启S3 Inventory功能，配置它定期生成包含所有对象键的清单文件（支持CSV、ORC、Parquet格式）。Inventory会自动把清单存到你指定的另一个S3桶里，这个过程是异步的，成本比你手动LIST所有对象低得多，而且完全不用你盯着。

• 第二步：筛选特定扩展名的对象
  拿到Inventory的清单后，不用下载到本地，直接用S3 Select在云端查询筛选。比如你要删.log后缀的对象，用AWS CLI执行这段命令就能生成过滤后的键列表：

  aws s3api select-object-content \
    --bucket your-inventory-bucket \
    --key path/to/inventory.csv \
    --expression "SELECT s.key FROM s3object s WHERE s.key LIKE '%.log'" \
    --expression-type SQL \
    --input-serialization '{"CSV": {"FileHeaderInfo": "USE"}}' \
    --output-serialization '{"CSV": {}}' \
    filtered-keys.csv
  

• 第三步：创建批量删除任务
  登录AWS控制台进S3 Batch Operations，新建一个任务，把刚才生成的filtered-keys.csv作为输入，操作类型选「Delete objects」，跟着向导一步步配置就行。AWS会自动帮你并行处理删除，还能实时看进度，比自己写脚本靠谱多了。

2. 中小规模场景：AWS CLI 一键过滤删除 #

如果你的对象数量没那么夸张（几万到几十万级别），直接用AWS CLI的aws s3 rm命令就行，自带过滤逻辑，不用全量遍历：

aws s3 rm s3://your-bucket/ --recursive --exclude "*" --include "*.log"

这里的逻辑是先排除所有对象，再只包含.log后缀的，CLI会智能处理LIST请求，只拉取符合条件的对象，还能并行删除，速度比自己写遍历脚本快不少。

3. 定制化需求：编程式分页查询+批量删除 #

如果需要集成到自己的系统里，写代码的话别全量遍历，用S3的分页查询接口，每次拉一批对象，内存里过滤后缀后批量删除。比如用Python的boto3示例：

import boto3

s3 = boto3.client('s3')
bucket_name = 'your-bucket'
target_ext = '.log'

# 用分页器处理大量对象
paginator = s3.get_paginator('list_objects_v2')
page_iterator = paginator.paginate(Bucket=bucket_name)

for page in page_iterator:
    if 'Contents' not in page:
        continue
    # 过滤出目标后缀的对象
    keys_to_delete = [{'Key': obj['Key']} for obj in page['Contents'] if obj['Key'].endswith(target_ext)]
    if keys_to_delete:
        # 批量删除，每次最多1000个对象，减少API调用次数
        s3.delete_objects(Bucket=bucket_name, Delete={'Objects': keys_to_delete})

这种方法比全量遍历省API调用次数，成本和耗时都低很多。

几个关键提醒 #

• 如果你的桶开了版本控制，普通删除只会加个删除标记，不会真正删对象。要永久删的话，要么在操作时指定VersionId，要么在Batch Operations里选「Delete versions」。
• 操作前一定要先测试！比如CLI加--dryrun参数看看会删哪些对象，或者代码里先删几个试试，别一不小心把有用的对象删了。

内容的提问来源于stack exchange，提问作者Ravi Raj