如何从DynamoDB获取过滤后按CreatedDate降序的最新N条记录？

你的需求完全可行，但当前的实现方式存在问题，需要调整GSI结构和查询逻辑，具体如下：

问题分析 #

你当前的请求本质还是在扫描主表（未指定GSI的IndexName），并且使用FilterExpression是在数据返回后过滤，依然会出现和之前Scan操作一样的问题——Limit限制的是扫描的原始数据量，过滤后结果可能不足指定条数，同时也无法保证按CreatedDate降序排列。

调整方案 #

1. 修正GSI结构 #

需要创建一个全局二级索引（GSI），配置如下：

• GSI分区键：用一个固定常量值（比如GlobalGroup，所有记录的该字段值统一设为"ALL"），确保所有记录都落在同一个分区中
• GSI排序键：设置为CreatedDate（建议用时间戳数值类型N，或保持ISO格式字符串类型S，两者都支持排序）
• 可选：开启GSI的投影，按需包含需要返回的字段（比如Filename、ProcessId等），减少数据传输量

2. 使用Query操作替代Scan #

通过API Gateway集成DynamoDB时，改用Query操作，直接利用GSI的排序能力实现过滤+排序+限制条数，请求示例如下：

{
  "TableName": "<TABLE NAME>",
  "IndexName": "<你的GSI名称>",
  "KeyConditionExpression": "GlobalGroup = :group_val AND CreatedDate > :v1",
  "ExpressionAttributeValues": {
      ":group_val": {"S": "ALL"},
      ":v1": {"S": "2024-05-03T06:32:22"}
  },
  "Limit": $input.params('pageSize'),
  "ScanIndexForward": false,
  "ReturnConsumedCapacity": "TOTAL"
}

关键参数说明 #

• IndexName：指定使用你创建的GSI
• KeyConditionExpression：用分区键固定值锁定所有记录，同时通过排序键CreatedDate做范围过滤（这一步是在查询时过滤，而非返回后过滤，保证Limit生效）
• ScanIndexForward: 设置为false，表示按排序键（CreatedDate）降序返回结果，最新记录优先
• Limit：此时的Limit是直接限制返回的符合条件的记录数，不会出现结果不足的问题

补充说明 #

如果你的业务场景不需要按时间范围过滤，只需要最新N条记录，KeyConditionExpression可以简化为GlobalGroup = :group_val，同样搭配ScanIndexForward: false和Limit即可。

内容的提问来源于stack exchange，提问作者Kartik Kodag