如何实现DynamoDB按version降序分页查询的GET API？

你的核心问题在于：主表分区键是唯一的时间戳id，每个记录都在不同分区，DynamoDB的Query操作只能在单个分区内按排序键排序，而Scan操作是无顺序的，跨分区无法直接实现全局排序。以下是几个可行的解决方案：

方案1：重构表主键（最直接高效） #

把所有记录放到同一个分区，同时用version作为排序键，这样就能用Query操作实现全局排序分页：

• 修改表结构：
  • 分区键（PK）设为固定值（比如"ALL_VERSIONED_DATA"），所有记录共用这个分区键
  • 排序键（SK）设为version（数字类型，自增）
• API实现逻辑：
  调用Query操作，设置：
  • KeyConditionExpression: "partition_key = :pk"，:pk值为你设定的固定分区键
  • ScanIndexForward: false（表示按排序键降序排列）
  • Limit: pageSize（你的分页大小）
  • 响应中返回LastEvaluatedKey，下一次请求将其作为ExclusiveStartKey传入，即可实现分页

注意：如果你的数据量极大（单分区存储超过10GB，或QPS超过1000），可能会出现热点分区问题，这时可以考虑给分区键加个前缀分片（比如按version的范围分几个固定前缀，如"GROUP_1"、"GROUP_2"），但这样需要额外处理多分组的排序合并，复杂度会提高。

方案2：创建全局二级索引（GSI）（不改动主表结构） #

如果不想修改主表的主键设计，可以创建一个GSI来实现全局排序：

• 创建GSI：
  • GSI的分区键设为固定值（比如"GSI_VERSION_SORT"）
  • GSI的排序键设为version
• API实现逻辑：
  针对这个GSI执行Query操作，参数和方案1一致：
  • KeyConditionExpression: "gsi_pk = :pk"
  • ScanIndexForward: false
  • Limit: pageSize
  • 用LastEvaluatedKey实现分页

这种方法的优势是不影响主表的读写性能，GSI会异步同步数据，适合已有主表在运行的场景。同样要注意GSI的热点问题，数据量极大时需要权衡。

方案3：扫描后内存排序（仅适合小数据量） #

如果以上两种方案都无法实施，只能退而求其次：

• 执行Scan操作读取全表数据（或用FilterExpression先过滤部分数据）
• 将读取到的所有数据在内存中按version降序排序
• 自己实现分页逻辑（比如记录当前页码，计算起始偏移量截取数据）

但这种方法的缺点很明显：数据量较大时，扫描全表会消耗大量读取容量，内存占用高，分页性能差，而且无法用LastEvaluatedKey做游标分页，只能用偏移量分页（存在数据更新时的分页错乱问题）。

内容的提问来源于stack exchange，提问作者Mandar Kulkarni