如何使用aws-sdk-js在指定日期范围内列出S3存储桶对象？

你说得没错——S3的ListObjects（以及推荐使用的新版ListObjectsV2）API确实没有直接支持按LastModified日期范围过滤的参数，因为S3的对象存储架构并不是按时间维度索引的，没办法在API请求层面直接做时间范围筛选。不过我们有几种处理方案，根据你的数据量大小来选：

1. 客户端过滤（最直接的方案） #

这是大部分场景下的首选：先通过API获取存储桶内的对象列表（注意处理分页，因为单次API调用最多返回1000条对象），然后在本地根据LastModified字段过滤出符合日期范围的对象。

举个用AWS SDK v3的代码例子：

import { S3Client, ListObjectsV2Command } from "@aws-sdk/client-s3";

const s3Client = new S3Client({ region: "your-region" });
const bucketName = "your-bucket-name";
const startDate = new Date("2024-01-01");
const endDate = new Date("2024-06-01");

async function getObjectsInDateRange() {
  let continuationToken = null;
  const filteredObjects = [];

  do {
    const command = new ListObjectsV2Command({
      Bucket: bucketName,
      ContinuationToken: continuationToken,
    });

    const response = await s3Client.send(command);
    // 过滤符合日期范围的对象
    const batchFiltered = response.Contents?.filter(obj => {
      const objLastModified = obj.LastModified;
      return objLastModified >= startDate && objLastModified <= endDate;
    }) || [];

    filteredObjects.push(...batchFiltered);
    continuationToken = response.NextContinuationToken;
  } while (continuationToken);

  return filteredObjects;
}

// 调用函数
getObjectsInDateRange().then(objs => console.log("符合条件的对象:", objs));

这个方案简单易实现，适合对象数量不多（比如几万条以内）的场景。如果对象数量特别大（几十万甚至上百万），客户端过滤会比较慢，这时候可以考虑下面的优化方案。

2. 优化方案：减少需要获取的对象数量 #

如果数据量很大，你可以通过以下方式减少API返回的数据量，再做过滤：

• 按时间前缀命名对象：如果你的对象键命名遵循时间格式（比如2024/01/01/my-file.jpg），可以通过Prefix参数缩小查询范围，比如要查2024年1月的对象，就设置Prefix: "2024/01/"，这样API只返回该前缀下的对象，再在本地过滤具体日期。
• 使用S3 Inventory：开启S3 Inventory功能，定期导出存储桶的对象元数据（包括LastModified）到CSV或Parquet文件。你可以直接下载导出的文件，然后用工具（比如Pandas、Excel）筛选日期范围，适合需要定期批量查询的场景。
• 同步元数据到数据库：如果需要频繁按时间查询对象，可以用S3 EventBridge事件触发Lambda，把新对象的元数据（键、LastModified等）同步到DynamoDB。之后查询时直接在DynamoDB里按LastModified做范围查询，效率会高很多。

总结 #

如果你的对象数量不算特别多，客户端过滤是最直接有效的方案；如果数据量极大，再根据你的使用场景选择前缀优化、S3 Inventory或者数据库同步的方式。

内容的提问来源于stack exchange，提问作者Slim