You need to enable JavaScript to run this app. 如何使用boto3获取S3存储桶中早于2年的子文件夹名称
优惠活动
大模型
产品
解决方案
定价
更多

如何使用boto3获取S3存储桶中早于2年的子文件夹名称

S3存储桶遍历早于2年的年份文件夹解决方案

核心思路

你的存储桶目录结构规整,photos目录下直接以年份作为子文件夹名称,因此可以先通过list_objects_v2的Delimiter参数拉取photos下的所有一级子目录,筛选出年份小于「当前年份-2」的目标目录,再批量拉取这些目录下的文件即可,无需全桶扫描,性能更高。

完整实现代码

import boto3
import datetime

s3_client = boto3.client('s3')
bucket_name = 'test-bucket'
# 计算阈值年份:当前2020年时阈值为2018,所有小于等于该值的年份都符合要求
threshold_year = datetime.datetime.now().year - 2

# 第一步:拉取photos下所有一级子文件夹,自动处理分页
paginator = s3_client.get_paginator('list_objects_v2')
dir_page_iterator = paginator.paginate(
    Bucket=bucket_name,
    Prefix='photos/',
    Delimiter='/'
)

target_dir_prefixes = []
for page in dir_page_iterator:
    # CommonPrefixes返回的就是当前前缀下的子目录路径
    for prefix_obj in page.get('CommonPrefixes', []):
        dir_path = prefix_obj['Prefix']
        # 提取年份字符串,格式为photos/YYYY/,拆分后取最后一段
        year_str = dir_path.strip('/').split('/')[-1]
        # 跳过非数字命名的异常文件夹
        if not year_str.isdigit():
            continue
        if int(year_str) <= threshold_year:
            target_dir_prefixes.append(dir_path)

# 第二步:遍历所有符合条件的目录,拉取文件列表
all_target_files = []
for dir_prefix in target_dir_prefixes:
    file_page_iterator = paginator.paginate(
        Bucket=bucket_name,
        Prefix=dir_prefix,
        PaginationConfig={'PageSize': 1000}
    )
    for file_page in file_page_iterator:
        for obj in file_page.get('Contents', []):
            # 此处可替换为你的业务逻辑,例如下载、统计存储大小等
            all_target_files.append(obj['Key'])

print(f"共找到{len(all_target_files)}个符合要求的文件")

方案说明

  • 用Delimiter='/'参数仅拉取一级子目录,避免遍历所有深层文件,适合规整的目录结构场景
  • 用boto3内置的paginator自动处理分页逻辑,无需手动维护ContinuationToken,避免文件/目录数量超过1000时数据遗漏
  • 增加了非数字年份文件夹的过滤逻辑,避免命名不规范的目录导致代码运行异常
  • 如果仅需要获取符合条件的年份文件夹路径,执行完第一步拿到target_dir_prefixes即可终止程序

内容的提问来源于stack exchange,提问作者ahkam

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.20 08:54:03