如何实现DynamoDB Scan查询按createdAt字段排序？

DynamoDB Scan操作原生不支持服务端排序，可根据数据规模、业务调用频率选择以下实现方式：

方案1：小数据量场景 - 内存排序 #

如果用户表总数据量在万级以内，全量拉取后内存占用可控，直接在Node.js服务侧完成排序即可，无需调整表结构。

注意：DynamoDB单次Scan最多返回1MB数据，必须循环处理分页标识LastEvaluatedKey拉取全量数据，否则会出现数据遗漏。

参考实现代码：

const AWS = require('aws-sdk')
const dynamoDB = new AWS.DynamoDB.DocumentClient()

// 原有Scan参数配置
let scanParam = {
    TableName: userTableName,
    FilterExpression: FilterExpressionRef.join(' AND '),
    ExpressionAttributeValues: ExpressionAttributeValuesRef,
    consistentRead : false,
    ProjectionExpression: 'id, username, email, isCreator, displayName, gender, locationCountry, locationCity, coinBalance, coinPerHalfYear, coinPerMonth, coinPerYear, followerCount, followingCount, createdAt, updatedAt',
}

// 循环拉取全量数据
let allUsers = []
let lastEvaluatedKey = null
do {
    if (lastEvaluatedKey) {
        scanParam.ExclusiveStartKey = lastEvaluatedKey
    }
    const scanResult = await dynamoDB.scan(scanParam).promise()
    allUsers = allUsers.concat(scanResult.Items)
    lastEvaluatedKey = scanResult.LastEvaluatedKey
} while (lastEvaluatedKey)

// 按创建时间升序：最早创建的用户在前
const oldestUsers = allUsers.sort((prev, curr) => new Date(prev.createdAt) - new Date(curr.createdAt))
// 按创建时间降序：最新创建的用户在前
const newestUsers = allUsers.sort((prev, curr) => new Date(curr.createdAt) - new Date(prev.createdAt))

• 优点：实现成本极低，无需改动现有表结构和查询逻辑
• 缺点：数据量超过10万级后，全量拉取耗时长、服务内存占用高，不适合高频调用的线上接口

方案2：中高频/中大数据量场景 - 建GSI用Query实现服务端排序 #

DynamoDB仅Query操作支持服务端排序，排序逻辑基于索引的排序键（Sort Key）实现，可通过新建全局二级索引（GSI）绕过Scan的排序限制：

1. 为用户表新建GSI：设置固定值的分区键（比如给所有用户写入字段gsiPartition = "ALL_USER"作为该GSI的分区键），将createdAt设为该GSI的排序键
2. 废弃原有Scan查询，改用Query操作请求该GSI：
   • 指定KeyConditionExpression为gsiPartition = :val，传入固定分区值
   • 参数ScanIndexForward: true时，按createdAt升序返回最早创建的用户
   • 参数ScanIndexForward: false时，按createdAt降序返回最新创建的用户
   • 可直接配合Limit参数取Top N的最新/最早用户，无需拉取全量表数据

• 优点：性能高，无需拉取全量数据，支持分页，适合高频调用场景
• 注意事项：单分区键承载的读写流量有上限，如果用户量超千万级，可按时间粒度拆分分区键（比如按月设置分区值USER_202405），避免单分区热点。

方案3：复杂查询/超大规模数据场景 - 异构存储同步 #

如果业务除了按createdAt排序外，还需要多字段组合筛选、模糊搜索等复杂查询能力，不建议强依赖DynamoDB实现：
开启DynamoDB Streams，将表的增量变更实时同步到OpenSearch、ClickHouse等擅长检索排序的存储引擎，所有排序、筛选类查询直接请求同步后的异构存储，DynamoDB仅承担主键维度的单点读写职责即可。

内容的提问来源于stack exchange，提问作者Parth Shah