如何不遍历快速统计指定前缀的S3对象数量？

针对大量对象的场景，有几种比逐个遍历更快的统计方式：

• 使用S3 Inventory
  这是最高效的方案，无需实时遍历对象。AWS会定期为你的存储桶生成包含所有对象元数据的清单文件（CSV/Parquet格式），你可以直接从清单中筛选出前缀为foo/的对象并统计数量。适合对象规模极大、不需要实时统计的场景。

• 用AWS CLI结合命令行工具快速统计
  虽然本质还是遍历，但CLI的底层实现做了优化，比手动写Python循环快很多。执行命令：

  aws s3 ls s3://foo/ --recursive | wc -l
  

  其中--recursive会列出所有子路径下的对象，wc -l负责统计行数（即对象数量）。

• 优化Python代码：使用boto3分页器
  如果你还是想用Python实现，改用boto3的分页器可以减少API调用次数，提升效率。分页器会批量获取对象，比单循环逐个请求高效：

  import boto3
  
  s3_client = boto3.client('s3')
  paginator = s3_client.get_paginator('list_objects_v2')
  total_count = 0
  
  for page in paginator.paginate(Bucket='你的存储桶名称', Prefix='foo/'):
      total_count += len(page.get('Contents', []))
  
  print(total_count)
  

内容的提问来源于stack exchange，提问作者Dommondke