如何无需分页获取AWS指定时间/最新对象文件（超千个）

针对你提出的需求，这里提供几个无需分页的可行方案，基于Node.js和AWS SDK实现：

方案1：通过对象键命名规范直接过滤（最简单无额外依赖） #

如果能控制对象上传时的键名格式，将日期/时间戳嵌入键的前缀（例如 prefix/2024/05/20/filename.jpg 或 prefix/1716182400_filename.jpg），就能直接构造Prefix参数缩小查询范围，避免遍历所有对象。

代码示例 #

// 获取最近7天的文件
const sevenDaysAgo = new Date();
sevenDaysAgo.setDate(sevenDaysAgo.getDate() - 7);
// 构造日期前缀（适配键格式：prefix/YYYY/MM/DD/...）
const year = sevenDaysAgo.getFullYear();
const month = String(sevenDaysAgo.getMonth() + 1).padStart(2, '0');
const day = String(sevenDaysAgo.getDate()).padStart(2, '0');
const datePrefix = `${path}${year}/${month}/${day}/`;

// 直接查询目标日期前缀下的对象
const s3Result = await this.connection.listObjectsV2({
  Bucket: destinationBucket,
  Prefix: datePrefix,
  Delimiter: '/'
}).promise();

// 筛选最新10个对象
const sortedObjects = s3Result.Contents.sort((a, b) => b.LastModified - a.LastModified);
const latest10 = sortedObjects.slice(0, 10);

局限性：需控制键名格式；若目标时间范围内对象超过1000个，仍需处理分页，但如果你的场景中最近X天/最新10个的对象数量不超1000，该方案完全满足需求。

方案2：用DynamoDB存储对象元数据（支持任意量级对象） #

通过S3事件通知触发Lambda，仅记录对象元数据（而非删除旧对象）到DynamoDB，之后直接查询DynamoDB获取符合条件的对象键，无需遍历S3的大量对象。

步骤1：创建DynamoDB表 #

创建表，主键为prefix（字符串），排序键为lastModified（数字类型，存储时间戳）；或创建全局二级索引（GSI），以prefix为分区键、lastModified为排序键，方便按时间排序查询。

步骤2：配置S3事件通知与Lambda元数据写入 #

// Lambda处理函数：S3对象上传时写入元数据到DynamoDB
const AWS = require('aws-sdk');
const dynamodb = new AWS.DynamoDB.DocumentClient();

exports.handler = async (event) => {
  for (const record of event.Records) {
    const s3Obj = record.s3.object;
    const bucket = record.s3.bucket.name;
    const key = decodeURIComponent(s3Obj.key.replace(/\+/g, ' '));
    const lastModified = new Date(record.eventTime).getTime();
    // 提取对象前缀（根据你的路径规则调整）
    const prefix = key.split('/').slice(0, -1).join('/') + '/';

    await dynamodb.put({
      TableName: 'S3ObjectMetadata',
      Item: { prefix, lastModified, key, bucket }
    }).promise();
  }
};

步骤3：查询DynamoDB获取目标对象 #

// 查询最近7天的对象，或直接取最新10个
const sevenDaysAgo = Date.now() - 7 * 24 * 60 * 60 * 1000;
const dbQueryResult = await dynamodb.query({
  TableName: 'S3ObjectMetadata',
  KeyConditionExpression: 'prefix = :p AND lastModified > :t',
  ExpressionAttributeValues: { ':p': path, ':t': sevenDaysAgo },
  ScanIndexForward: false, // 按时间倒序，最新对象在前
  Limit: 10 // 可选：直接限制返回最新10个
}).promise();

// 批量获取S3对象详情
const batchParams = {
  RequestItems: {
    [destinationBucket]: {
      Keys: dbQueryResult.Items.map(item => ({ Key: item.key }))
    }
  }
};
const s3BatchResult = await this.connection.batchGetObject(batchParams).promise();

优势：完全无需处理S3分页，即使前缀下有百万级对象，DynamoDB查询也能快速返回结果；支持任意时间范围和数量的筛选。

方案3：利用S3 Inventory（适合批量回溯查询） #

配置S3 Inventory定期生成指定前缀下的对象清单，之后用S3 Select查询清单文件筛选符合条件的对象，适合非实时的批量回溯场景。

代码示例 #

const inventoryBucket = 'your-inventory-bucket';
const inventoryKey = 'path/to/latest/inventory.csv';
const sevenDaysAgo = new Date();
sevenDaysAgo.setDate(sevenDaysAgo.getDate() - 7);
const cutoffDate = sevenDaysAgo.toISOString().split('T')[0];

// 用S3 Select查询Inventory文件
const selectParams = {
  Bucket: inventoryBucket,
  Key: inventoryKey,
  ExpressionType: 'SQL',
  Expression: `SELECT key, last_modified FROM s3object WHERE prefix = '${path}' AND last_modified >= '${cutoffDate}'`,
  InputSerialization: { CSV: { FileHeaderInfo: 'USE' } },
  OutputSerialization: { JSON: {} }
};

const selectResult = await this.connection.selectObjectContent(selectParams).promise();

// 解析查询结果流
const matchedObjects = [];
for await (const event of selectResult.Payload) {
  if (event.Records) {
    const data = Buffer.from(event.Records.Payload).toString('utf8');
    data.split('\n').filter(row => row).forEach(row => matchedObjects.push(JSON.parse(row)));
  }
}

// 筛选最新10个
const latest10 = matchedObjects.sort((a, b) => new Date(b.last_modified) - new Date(a.last_modified)).slice(0, 10);

局限性：Inventory最短每日生成，存在延迟，不适合实时查询。

内容的提问来源于stack exchange，提问作者Rawi Lahiany