如何在DynamoDB中查询时间范围内的每第10条记录？

嘿，这个场景我太熟悉了——DynamoDB确实不支持像SQL里的取模过滤这类操作，但我们有两种实用的办法来实现你要的每10分钟取一条记录的需求，我结合你的Lambda代码给你拆解一下：

方案一：查询后在Lambda中本地过滤（快速实现） #

这是最直接的办法，不需要改动你的数据结构或者写入逻辑，只需要在拿到DynamoDB返回的结果后，用JavaScript的过滤逻辑筛选出每10分钟的记录。

因为你的数据是每分钟新增一条，每10分钟的记录对应的时间戳满足时间戳对600（10分钟的总秒数）取模等于0，或者转换成分钟数后对10取模等于0。我修改了你的Lambda代码，加入了过滤逻辑：

var read = {
  TableName: "user",
  ProjectionExpression:"#time, #val",
  KeyConditionExpression: "Id = :id and TIME between :time_1 and :time_2",
  ExpressionAttributeNames:{ "#time": "TIME", "#val": "user_data" },
  ExpressionAttributeValues: {
    ":id": event, // primary key
    ":time_1": 1516338730,
    ":time_2": 1516358930
  },
  ScanIndexForward: true
};

docClient.query(read, function(err, data) {
  if(err) {
    callback(err, null);
  } else {
    // 过滤出每10分钟的记录：这里用时间戳对600秒取模的方式
    const filteredItems = data.Items.filter(item => {
      // 可选两种过滤逻辑，选一种适合你的即可：
      // 方式1：基于时间戳秒数取模10分钟（600秒）
      return item.TIME % 600 === 0;
      
      // 方式2：转换成分钟数后取模10（适合更直观的分钟判断）
      // const minutes = Math.floor(item.TIME / 60);
      // return minutes % 10 === 0;
    });
    callback(null, filteredItems);
  }
});

这个方案的优缺点： #

• ✅ 优点：零数据结构改动，快速上线，逻辑简单易懂
• ❌ 缺点：如果查询的时间范围很大（比如超过24小时），会先把所有符合时间范围的记录都读到Lambda中再过滤，会消耗更多的带宽和Lambda执行时间，长期来看成本会更高

方案二：写入时标记采样记录（长期优化） #

如果你的查询场景经常涉及大时间范围，推荐提前在写入数据时给每10分钟的记录打上标记，这样查询时可以直接只读取这些标记过的记录，大大减少数据传输量。

具体步骤： #

1. 修改数据写入逻辑：在写入每条记录时，添加一个字段（比如TenMinuteSample），当这条记录的时间属于每10分钟的采样点时（比如分钟数为0、10、20...），将该字段设为true，否则设为false。
   示例写入逻辑片段：

   const now = Date.now() / 1000; // 转成Unix时间戳（秒）
   const minutes = Math.floor(now / 60);
   const isTenMinuteSample = minutes % 10 === 0;
   
   const putParams = {
     TableName: "user",
     Item: {
       "Id": userId,
       "TIME": now,
       "user_data": yourData,
       "TenMinuteSample": isTenMinuteSample
     }
   };
   docClient.put(putParams, function(err, data) {
     // 写入回调逻辑
   });
   

2. 创建全局二级索引（GSI）：为了高效查询标记过的记录，建议创建一个GSI，包含Id（分区键）、TIME（排序键）和TenMinuteSample字段。这样查询时可以结合KeyConditionExpression和FilterExpression来直接筛选采样记录。

3. 修改查询逻辑：在查询时添加FilterExpression来只获取TenMinuteSample = :trueVal的记录：

   var read = {
     TableName: "user",
     IndexName: "Id-Time-TenMinuteSample-Index", // 你的GSI名称
     ProjectionExpression:"#time, #val",
     KeyConditionExpression: "Id = :id and TIME between :time_1 and :time_2",
     FilterExpression: "TenMinuteSample = :trueVal",
     ExpressionAttributeNames:{ "#time": "TIME", "#val": "user_data" },
     ExpressionAttributeValues: {
       ":id": event,
       ":time_1": 1516338730,
       ":time_2": 1516358930,
       ":trueVal": true
     },
     ScanIndexForward: true
   };
   
   docClient.query(read, function(err, data) {
     if(err) {
       callback(err, null);
     } else {
       callback(null, data.Items); // 这里直接返回的就是每10分钟的记录
     }
   });
   

这个方案的优缺点： #

• ✅ 优点：查询时读取的数据量极小，适合高频、大范围的查询场景，长期成本更低
• ❌ 缺点：需要修改数据写入逻辑，额外存储一个标记字段，还要创建和维护GSI，前期有一定的配置成本

内容的提问来源于stack exchange，提问作者David