Boto S3如何筛选前缀小于指定日期前缀的存储对象

你的YYYY/MM/DD层级存储格式天然适配S3的key排序规则——S3的对象键默认按UTF-8二进制字典序升序排列，而补零格式的年月日字符串的字典序和实际日期先后顺序完全一致，不需要全量暴力遍历所有对象，用以下两种方案即可实现高效筛选：

方案1：轻量场景直接用有序列表提前终止 #

适合单日期下文件数量不多的场景，实现成本最低：

• 调用ListObjectsV2接口拉取对象列表，不需要设置Prefix参数（如果所有日期目录都在某个公共根路径下，设置对应根前缀即可）
• 逐页处理返回的对象键，提取每个key的前10位（固定长度的YYYY/MM/DD日期前缀）和目标截止日期比对
• 一旦遇到第一个日期前缀大于等于指定截止日期的key，立刻终止分页拉取即可——因为列表是严格升序的，后续所有key的日期都晚于截止日期，不需要再拉取
  以你给出的存储结构为例，截止日期设为2022/05/07时，拉到第三个key2022/06/06/folder3/file.ext时发现日期前缀更大，直接停止，不会拉取后面的任何无关对象。

方案2：大数据量场景按层级枚举前缀 #

适合单天文件量极大（十万/百万级）的场景，请求量和文件总量完全无关，效率最高：
调用列表接口时携带Delimiter='/'参数，按目录层级逐层枚举公共前缀，跳过文件级遍历：

1. 枚举第一层（年）前缀：所有小于截止年份的前缀，其下所有文件全部符合要求，直接批量拉取即可
2. 对年份等于截止年份的项，枚举第二层（月）前缀：所有小于截止月份的前缀，其下所有文件全部符合要求，直接批量拉取
3. 对月份等于截止月份的项，枚举第三层（日）前缀：所有小于截止日期的前缀，其下所有文件全部符合要求，直接批量拉取
4. 大于等于截止日期的日、月、年前缀全部跳过，直接终止遍历即可

关键注意事项 #

• 必须保证月、日是两位补零格式：比如1月必须存为01、6号必须存为06，不能省略前导零，否则字符串字典序会和日期序错位（比如2022/10/01的字典序会小于2022/5/01，导致筛选错误），你当前给出的示例路径符合该要求。
• 旧版S3 API用Marker参数做分页标记，新版ListObjectsV2用ContinuationToken，提前终止逻辑不受API版本影响。

内容的提问来源于stack exchange，提问作者Isshin