基于匹配模式快速获取S3文件的优化方案咨询

原代码慢的核心原因是拉取了前缀下所有对象后再本地过滤，如果前缀下对象远多于目标的2400个，会产生大量无效数据传输和处理开销。以下是几个直接有效的优化方式：

1. 利用S3服务端前缀过滤减少返回数据 #

如果你的匹配模式是日期（比如目标文件都是2023-10-18开头），直接把日期拼进查询前缀，让S3服务端提前过滤无关对象，不用拉取全量数据：

def findMissingFiles(bucket, curated_bucket, prefix, pattern):
    # 把日期pattern拼接到前缀，让S3只返回符合前缀的文件
    filtered_prefix = f"{prefix}{pattern}-"
    paginator = s3.get_paginator('list_objects_v2')
    pages = paginator.paginate(Bucket=bucket, Prefix=filtered_prefix)
    
    TotalFilesInSrcBucket = set()
    for page in pages:
        # 直接遍历返回结果，无需再判断pattern
        for obj in page.get('Contents', []):
            TotalFilesInSrcBucket.add(obj['Key'])
    
    print('Total files in Src Bucket -> ', len(TotalFilesInSrcBucket))

如果匹配的是后缀（比如.ndjson），可以把if pattern in key换成更高效的key.endswith(pattern)，减少字符串匹配耗时。

2. 增大分页尺寸减少HTTP请求次数 #

默认list_objects_v2每页最多返回1000个对象，手动拉满分页尺寸，减少请求来回的网络耗时：

pages = paginator.paginate(
    Bucket=bucket, 
    Prefix=prefix,
    PaginationConfig={'PageSize': 1000}  # 设为最大允许值
)

3. 并行处理分页结果 #

在Glue环境中，利用多线程并行处理每个分页的内容，避免单线程遍历的等待开销：

from concurrent.futures import ThreadPoolExecutor

def process_page(page, pattern):
    # 单页内的过滤逻辑
    return {obj['Key'] for obj in page.get('Contents', []) if pattern in obj['Key']}

def findMissingFiles(bucket, curated_bucket, prefix, pattern):
    paginator = s3.get_paginator('list_objects_v2')
    pages = paginator.paginate(Bucket=bucket, Prefix=prefix)
    
    TotalFilesInSrcBucket = set()
    # 用线程池并行处理所有分页
    with ThreadPoolExecutor(max_workers=4) as executor:
        # 给每个任务传入pattern参数
        results = executor.map(lambda page: process_page(page, pattern), pages)
        for result_set in results:
            TotalFilesInSrcBucket.update(result_set)
    
    print('Total files in Src Bucket -> ', len(TotalFilesInSrcBucket))

4. 用S3 Inventory处理超大量文件 #

如果存储桶文件量级达到百万级，建议配置S3 Inventory定期生成文件清单（CSV/Parquet格式），然后直接读取清单筛选文件——这种方式比实时调用list_objects_v2快几个数量级，适合长期高频的文件统计需求。

内容的提问来源于stack exchange，提问作者nahmed