如何使用boto3获取S3存储桶中早于2年的子文件夹名称
S3存储桶遍历早于2年的年份文件夹解决方案
核心思路
你的存储桶目录结构规整,photos目录下直接以年份作为子文件夹名称,因此可以先通过list_objects_v2的Delimiter参数拉取photos下的所有一级子目录,筛选出年份小于「当前年份-2」的目标目录,再批量拉取这些目录下的文件即可,无需全桶扫描,性能更高。
完整实现代码
import boto3 import datetime s3_client = boto3.client('s3') bucket_name = 'test-bucket' # 计算阈值年份:当前2020年时阈值为2018,所有小于等于该值的年份都符合要求 threshold_year = datetime.datetime.now().year - 2 # 第一步:拉取photos下所有一级子文件夹,自动处理分页 paginator = s3_client.get_paginator('list_objects_v2') dir_page_iterator = paginator.paginate( Bucket=bucket_name, Prefix='photos/', Delimiter='/' ) target_dir_prefixes = [] for page in dir_page_iterator: # CommonPrefixes返回的就是当前前缀下的子目录路径 for prefix_obj in page.get('CommonPrefixes', []): dir_path = prefix_obj['Prefix'] # 提取年份字符串,格式为photos/YYYY/,拆分后取最后一段 year_str = dir_path.strip('/').split('/')[-1] # 跳过非数字命名的异常文件夹 if not year_str.isdigit(): continue if int(year_str) <= threshold_year: target_dir_prefixes.append(dir_path) # 第二步:遍历所有符合条件的目录,拉取文件列表 all_target_files = [] for dir_prefix in target_dir_prefixes: file_page_iterator = paginator.paginate( Bucket=bucket_name, Prefix=dir_prefix, PaginationConfig={'PageSize': 1000} ) for file_page in file_page_iterator: for obj in file_page.get('Contents', []): # 此处可替换为你的业务逻辑,例如下载、统计存储大小等 all_target_files.append(obj['Key']) print(f"共找到{len(all_target_files)}个符合要求的文件")
方案说明
- 用
Delimiter='/'参数仅拉取一级子目录,避免遍历所有深层文件,适合规整的目录结构场景 - 用boto3内置的paginator自动处理分页逻辑,无需手动维护
ContinuationToken,避免文件/目录数量超过1000时数据遗漏 - 增加了非数字年份文件夹的过滤逻辑,避免命名不规范的目录导致代码运行异常
- 如果仅需要获取符合条件的年份文件夹路径,执行完第一步拿到
target_dir_prefixes即可终止程序
内容的提问来源于stack exchange,提问作者ahkam
相关产品推荐
相关产品推荐

