咨询boto3中bucket.objects.all()请求次数及S3桶高效扫描方案

请求次数说明 #

你用的bucket.objects.all()底层调用的是S3的ListObjectsV2 API，这个API单次请求最多返回1000个对象。所以如果存储桶里有100万对象，会发起约1000次请求（1000000÷1000），每一次请求都会产生对应的API调用费用。

优化扫描的方法 #

1. 跳过指定前缀（“文件夹”） #

S3没有真正的文件夹结构，所谓的“文件夹”本质是对象键的前缀。你可以通过两种方式跳过不需要的范围：

• 方式一：缩小扫描范围
  直接用filter()方法只扫描需要的前缀，比如只处理docs/前缀下的对象：

bucket = s3.Bucket(bucket_name)
# 仅扫描docs/前缀的对象
for obj in bucket.objects.filter(Prefix='docs/'):
    # 检查对象最后修改时间是否早于阈值
    if obj.last_modified < threshold_datetime:
        # 执行你的处理逻辑

• 方式二：遍历中跳过指定前缀
  如果需要遍历全桶但跳过特定前缀，比如跳过temp/和archive/：

bucket = s3.Bucket(bucket_name)
skip_prefixes = {'temp/', 'archive/'}
for obj in bucket.objects.all():
    # 跳过目标前缀的对象
    if any(obj.key.startswith(prefix) for prefix in skip_prefixes):
        continue
    # 检查时间阈值
    if obj.last_modified < threshold_datetime:
        # 执行你的处理逻辑

2. 用S3 Inventory降低长期扫描成本 #

如果需要频繁执行这类扫描，最省钱的方案是开启S3存储桶清单（S3 Inventory）：

• 它会定期（每天或每周）自动生成存储桶内所有对象的元数据文件（包含最后修改时间、对象键等），保存到你指定的S3位置
• 你只需下载这份清单文件，本地解析筛选即可，不用每次都调用ListObjectsV2遍历全桶，能大幅减少API请求次数和费用

内容的提问来源于stack exchange，提问作者Souni