如何按日期排序并分页检索DynamoDB表中数据？

我需要从DynamoDB的albums表中按日期排序并分页检索所有数据。目前我可以使用Scan命令实现分页，但返回的结果集是无序的。

当前使用Scan实现分页的代码：

async function run(): Promise<void> {
  const client = new DynamoDBClient({});

  const params1: ScanCommandInput = {
    TableName: 'albums',
    Limit: 2,
    ExclusiveStartKey: {
      portfolioId: { S: '3f6b3897-a530-4f42-857c-443e6d09e44a' },
      albumId: { S: '724c1fba-1afa-4e01-9f83-4a66d95d56ed' }
    }
  };

  const data = await client.send(new ScanCommand(params1));
  console.dir(data, { depth: null });
}

Scan命令无法返回有序结果。我应该如何更新当前的表定义和查询命令，以获取按日期排序的分页数据？

当前的表定义：

private getAlbumsTable(): dynamoDb.ITable {
    const table = new dynamoDb.Table(this, 'albums', {
      partitionKey: {
        name: 'albumId',
        type: dynamoDb.AttributeType.STRING
      },
      sortKey: {
        name: 'portfolioId',
        type: dynamoDb.AttributeType.STRING
      },
      tableName: 'albums',
      removalPolicy: cdk.RemovalPolicy.DESTROY,
      stream: dynamoDb.StreamViewType.NEW_AND_OLD_IMAGES,
      billingMode: dynamoDb.BillingMode.PAY_PER_REQUEST
    });

    table.addGlobalSecondaryIndex({
      indexName: 'portfolioIdIndex',
      partitionKey: {
        name: 'portfolioId',
        type: dynamoDb.AttributeType.STRING
      }
    });

 
    return table;
  }

我了解Scan操作不支持排序，是否应该改用Query操作？如果是，我应该如何构建表结构和查询来实现需求？

是的，必须改用Query操作实现有序分页——Scan是全表扫描，无法保证结果顺序，而Query结合全局二级索引（GSI）可以实现有序查询，同时支持分页。

步骤1：修改表结构，添加按日期排序的GSI #

要实现全表按日期排序，需要创建一个GSI，配置如下：

• 分区键使用固定常量（比如all_albums），让所有数据归入同一个分区
• 排序键使用日期字段（比如createdAt，推荐用数字类型存储时间戳，排序效率更高）

修改后的表定义代码：

private getAlbumsTable(): dynamoDb.ITable {
    const table = new dynamoDb.Table(this, 'albums', {
      partitionKey: {
        name: 'albumId',
        type: dynamoDb.AttributeType.STRING
      },
      sortKey: {
        name: 'portfolioId',
        type: dynamoDb.AttributeType.STRING
      },
      tableName: 'albums',
      removalPolicy: cdk.RemovalPolicy.DESTROY,
      stream: dynamoDb.StreamViewType.NEW_AND_OLD_IMAGES,
      billingMode: dynamoDb.BillingMode.PAY_PER_REQUEST
    });

    // 保留原有的portfolioId索引
    table.addGlobalSecondaryIndex({
      indexName: 'portfolioIdIndex',
      partitionKey: {
        name: 'portfolioId',
        type: dynamoDb.AttributeType.STRING
      }
    });

    // 添加按日期排序的GSI
    table.addGlobalSecondaryIndex({
      indexName: 'dateSortedIndex',
      partitionKey: {
        name: 'sortGroup', // 固定分组键
        type: dynamoDb.AttributeType.STRING
      },
      sortKey: {
        name: 'createdAt', // 日期字段，确保每条数据都包含该属性
        type: dynamoDb.AttributeType.N // 用时间戳数字存储
      },
      projectionType: dynamoDb.ProjectionType.ALL // 按需选择投影类型，ALL返回所有字段
    });

    return table;
  }

注意：需要确保每条album数据都包含sortGroup字段，且值统一为all_albums，同时包含createdAt日期字段。

步骤2：使用Query命令实现有序分页 #

修改查询代码，通过Query访问新创建的GSI，指定排序方向并利用ExclusiveStartKey实现分页：

async function getSortedAlbums(pageSize: number, lastEvaluatedKey?: any): Promise<any> {
  const client = new DynamoDBClient({});

  const params: QueryCommandInput = {
    TableName: 'albums',
    IndexName: 'dateSortedIndex', // 指定使用新GSI
    KeyConditionExpression: '#sortGroup = :groupValue',
    ExpressionAttributeNames: {
      '#sortGroup': 'sortGroup'
    },
    ExpressionAttributeValues: {
      ':groupValue': { S: 'all_albums' } // 匹配固定分组键
    },
    Limit: pageSize,
    ScanIndexForward: false, // false为降序（最新数据在前），true为升序
    ExclusiveStartKey: lastEvaluatedKey // 分页起始键，首次查询不传
  };

  const data = await client.send(new QueryCommand(params));
  return {
    items: data.Items,
    lastEvaluatedKey: data.LastEvaluatedKey // 下一页查询时传入该值
  };
}

// 调用示例
async function run() {
  // 获取第一页数据
  const firstPage = await getSortedAlbums(2);
  console.dir(firstPage.items, { depth: null });
  
  // 存在下一页则继续查询
  if (firstPage.lastEvaluatedKey) {
    const secondPage = await getSortedAlbums(2, firstPage.lastEvaluatedKey);
    console.dir(secondPage.items, { depth: null });
  }
}

关键说明 #

1. 排序控制：ScanIndexForward参数决定排序方向，DynamoDB会严格按照GSI排序键的顺序返回结果。
2. 分页逻辑：每次查询返回的LastEvaluatedKey是下一页的起始位置，将其传入下一次Query的ExclusiveStartKey即可实现连续分页。
3. 一致性选项：GSI默认是最终一致性，如果需要强一致性查询，可在Query参数中添加ConsistentRead: true，但会增加成本和延迟。

内容的提问来源于stack exchange，提问作者Juraj Zovinec