如何使用本地自定义S3桶列表计算桶大小？解决耗时及漏桶问题

计算S3桶大小时，遍历全部桶在面对大桶或多存储类场景时不仅耗时极长，还可能出现无法显示全部桶的情况。因此可以通过本地文件中的自定义桶名称列表作为输入，针对性计算指定桶的大小。

你已经通过以下代码读取本地文件subsetbucketslist.txt获取目标桶列表：

with open('subsetbucketslist.txt') as f:
    allbuckets = f.read().splitlines()

只需把默认遍历所有桶的逻辑替换为遍历这个本地列表即可，同时优化原代码中重复创建S3资源的问题，修改后的完整代码如下：

import boto3

# 初始化S3资源，仅需创建一次
s3 = boto3.resource('s3')

# 读取本地文件中的目标桶列表
with open('subsetbucketslist.txt') as f:
    target_buckets = f.read().splitlines()

# 遍历指定桶计算大小
for bucket_name in target_buckets:
    try:
        bucket = s3.Bucket(bucket_name)
        # 累加桶内所有对象的大小
        bucket_total_size = sum(obj.size for obj in bucket.objects.all())
        print(f"{bucket_name} 的总大小: {bucket_total_size} 字节")
    except Exception as e:
        print(f"处理桶 {bucket_name} 失败: {str(e)}")

额外优化提示 #

• 复用S3资源：原代码每次循环都重新创建S3资源，修改后只初始化一次，能有效提升执行效率
• 异常处理：增加try-except块，可处理桶不存在、权限不足、网络异常等问题，避免程序中途崩溃
• 存储类兼容：如果需要统计非标准存储类（如Glacier、Deep Archive）的对象，bucket.objects.all()默认不会返回这类对象，需要改用client.list_objects_v2()接口并开启分页遍历，同时指定StorageClass参数或遍历所有存储类对象

内容的提问来源于stack exchange，提问作者luckybird