使用AWS Lambda调用list_objects_v2时如何排除archive子文件夹？

一、直接排除archive的高效遍历方法 #

S3的list_objects_v2没有原生的“排除前缀”参数，但可以通过只遍历非archive的顶级前缀来避免扫描archive目录下的内容，这是最直接的优化方式。

你的存储桶中非archive内容是111/、222/这类顶级前缀，所以可以先获取所有顶级前缀，排除archive/后，再逐个遍历这些前缀下的对象：

import boto3

s3 = boto3.client('s3')
bucket_name = '你的存储桶名称'

# 获取所有顶级前缀（用Delimiter区分层级）
paginator = s3.get_paginator('list_objects_v2')
prefix_pages = paginator.paginate(
    Bucket=bucket_name,
    Delimiter='/',
    Prefix=''
)

# 收集需要处理的非archive前缀
target_prefixes = []
for page in prefix_pages:
    for common_prefix in page.get('CommonPrefixes', []):
        prefix = common_prefix['Prefix']
        if prefix != 'archive/':
            target_prefixes.append(prefix)

# 遍历每个目标前缀下的对象
for prefix in target_prefixes:
    obj_pages = paginator.paginate(
        Bucket=bucket_name,
        Prefix=prefix
    )
    for page in obj_pages:
        for obj in page.get('Contents', []):
            obj_key = obj['Key']
            # 这里执行你的对象移动逻辑
            # 比如 copy_object 后 delete_object
            # ...

这种方式只会扫描你需要处理的目录，完全避开archive下的大量对象，能显著降低调用耗时。

二、其他更优替代方案 #

如果定时遍历的方式长期来看还是会有性能问题，可以考虑以下方案：

1. 用S3 Inventory替代遍历 #

配置S3 Inventory每日生成存储桶对象清单（CSV格式），清单会包含对象键、创建时间等元数据。Lambda可以直接读取最新的清单文件，过滤出需要归档的对象（排除archive前缀、筛选创建时间超过阈值的），然后批量处理。这种方式不需要调用list_objects_v2，性能更稳定，尤其适合超大存储桶。

2. 用DynamoDB跟踪对象状态 #

当对象上传到S3时，通过S3事件通知触发Lambda，将对象的键、创建时间、状态（未归档/已归档）存入DynamoDB。后续定时Lambda只需从DynamoDB中查询创建时间超过阈值且未归档的对象，直接处理即可。处理完成后更新DynamoDB的状态标记，避免重复操作。这种方式完全避免了存储桶遍历，效率最高。

3. 客户端过滤（仅作为临时过渡方案） #

如果暂时无法修改遍历逻辑，也可以在获取对象列表后，在客户端过滤掉archive/开头的对象键，但这种方式还是会遍历整个存储桶，archive越大耗时越高，只适合临时过渡：

paginator = s3.get_paginator('list_objects_v2')
pages = paginator.paginate(Bucket=bucket_name)

for page in pages:
    # 过滤掉archive目录下的对象
    valid_objects = [obj for obj in page.get('Contents', []) if not obj['Key'].startswith('archive/')]
    for obj in valid_objects:
        # 执行对象处理逻辑
        pass

内容的提问来源于stack exchange，提问作者BarbaricBrew