如何在DynamoDB的Scan操作中结合分页按指定字段排序？

你在DynamoDB中存储了如下结构的数据：

data = []Data{
   {
       "Name": "foo",
       "Number": 12,
   },
   {
       "Name": "baz",
       "Number": 34,
   },
}

item, _:= attributevalue.MarshalMap(data)
_, err := dynamoDbClient.PutItem(context.TODO(), &dynamodb.PutItemInput{
    TableName: aws.String("tablename"), 
    Item: item,
})

目前使用Scan操作实现了分页和过滤，但无法在分页的同时按Number或Name字段排序，需要可行的解决方案。

DynamoDB的Scan操作本身不支持服务端排序，它仅能按数据在存储中的物理顺序返回结果。要实现分页+排序，有两种主流方案：

方案1：全局二级索引（GSI）+ Query操作（推荐） #

这是服务端层面实现有序分页的最优方案，利用GSI的有序性来实现排序：

1. 创建GSI：针对需要排序的字段创建GSI：
   • 若仅需按Number排序，可创建以Number为排序键的GSI（分区键可选择高频过滤字段，或用固定值作为分区键实现全表排序）；
   • 若需按Name分组后再按Number排序，则将Name设为GSI的分区键，Number设为排序键。
2. 使用Query操作：通过Query调用GSI，利用ScanIndexForward控制排序方向，ExclusiveStartKey实现分页：

// 示例：按Number升序分页查询（假设GSI索引名为NumberIndex）
queryInput := &dynamodb.QueryInput{
    TableName:              aws.String("tablename"),
    IndexName:              aws.String("NumberIndex"),
    ScanIndexForward:       aws.Bool(true), // true=升序，false=降序
    ExclusiveStartKey:      lastEvaluatedKey, // 分页起始标记，首次查询传nil
    Limit:                  aws.Int64(10), // 每页返回数量
    // 如需过滤，可添加KeyConditionExpression或FilterExpression
}

result, err := dynamoDbClient.Query(context.TODO(), queryInput)
if err != nil {
    // 错误处理
}
// 保存分页标记，用于下一次查询
lastEvaluatedKey = result.LastEvaluatedKey

注意：FilterExpression是在Query返回结果后过滤，不会减少读取的容量消耗，尽量通过GSI的键条件来实现过滤逻辑。

方案2：客户端排序（小数据量场景） #

如果无法创建GSI（如权限限制、数据量极小），可在Scan获取每页数据后，在客户端完成排序：

// 执行Scan获取当前页数据
scanInput := &dynamodb.ScanInput{
    TableName:              aws.String("tablename"),
    ExclusiveStartKey:      lastEvaluatedKey,
    Limit:                  aws.Int64(10),
    // 已有的过滤条件
}
result, err := dynamoDbClient.Scan(context.TODO(), scanInput)
if err != nil {
    // 错误处理
}

// 反序列化为Data切片
var pageData []Data
err = attributevalue.UnmarshalListOfMaps(result.Items, &pageData)
if err != nil {
    // 错误处理
}

// 按Number升序排序
sort.Slice(pageData, func(i, j int) bool {
    return pageData[i].Number < pageData[j].Number
})

// 按Name字典序排序
sort.Slice(pageData, func(i, j int) bool {
    return pageData[i].Name < pageData[j].Name
})

// 更新分页标记
lastEvaluatedKey = result.LastEvaluatedKey

缺点：客户端排序仅适合小数据量场景，若数据量大，会占用本地计算资源；且分页基于未排序的原始数据，可能出现跨页的排序后数据不连续（比如第二页Scan到的Number值可能比第一页的小）。

核心提示 #

• Scan操作不支持服务端排序是DynamoDB的设计特性，全表扫描无法高效完成排序；
• GSI方案虽然会增加存储和写入成本，但能保证有序分页的高效性，适合大数据量场景；
• 若使用GSI的排序键，Query会直接利用索引的有序性返回结果，分页逻辑能保证排序后的连续性。

内容的提问来源于stack exchange，提问作者Nju