DynamoDB带过滤查询的分页Bug：结果超出指定限制

问题背景 #

在使用自定义paginate()函数处理DynamoDB带过滤条件的扫描查询时，出现返回结果数量超出指定params.Limit的问题，甚至可能超出数据库实际数据量，无法正确实现分页限制。

原代码 #

const docClient = new aws.DynamoDB.DocumentClient();

async paginate(params,TableName){    
  if (!params.Limit) {
    params.Limit = 10
  }

  let result = []
  let items
  let scannedItemCount = 0
  do {
    items = await docClient.scan({ TableName, ...params })
    result = result.concat(items.Items)
    if (items.Count !== null && items.Count !== undefined) {
      scannedItemCount += items.Count
    }
    params.ExclusiveStartKey = items.LastEvaluatedKey
  } while (scannedItemCount < params.Limit && items.LastEvaluatedKey)

  result.splice(params.Limit)

  return {
    items: result,
    LastEvaluatedKey: result.length > 0 ? { ...result[result.length - 1] } : undefined
  }
}

Bug根源分析 #

1. 错误的终止逻辑：
   • 变量scannedItemCount名实不符，实际累加的是过滤后返回的items.Count，但循环判断scannedItemCount < params.Limit会导致多次扫描后结果数组长度远超Limit——因为每次扫描用的是初始固定Limit，而非剩余需要的数量，比如Limit设为10，第一次返回8个符合条件的结果，第二次又返回10个，此时scannedItemCount变为18，循环终止但结果数组已有18个元素，最后splice截断属于冗余操作，还浪费读取容量。
2. 错误的分页标记生成：
   • 用结果数组最后一项作为LastEvaluatedKey完全错误，DynamoDB的LastEvaluatedKey是服务端返回的下一次扫描起始标记，和过滤后的结果项无直接关联，过滤场景下扫描到的最后一个键可能不在返回的Items里。
3. 未动态调整单次扫描Limit：
   • 始终使用初始Limit值扫描，会获取大量不必要的数据，增加开销且容易导致结果溢出。

修复方案 #

const docClient = new aws.DynamoDB.DocumentClient();

async paginate(params, TableName) {
  // 初始化目标限制，默认10条
  const targetLimit = params.Limit ?? 10;
  // 复制参数避免修改原对象
  const scanParams = { ...params };
  
  let collectedItems = [];
  let lastEvaluatedKey = null;

  do {
    // 动态计算本次扫描需要的数量，避免获取多余数据
    scanParams.Limit = Math.max(1, targetLimit - collectedItems.length);
    const response = await docClient.scan({ TableName, ...scanParams });
    
    // 累加符合条件的结果
    collectedItems = collectedItems.concat(response.Items);
    lastEvaluatedKey = response.LastEvaluatedKey;
    
    // 更新下一次扫描的起始键
    scanParams.ExclusiveStartKey = lastEvaluatedKey;
    
    // 终止条件：已收集足够结果，或没有下一页数据
  } while (collectedItems.length < targetLimit && lastEvaluatedKey);

  // 确保最终结果不超过目标限制
  const finalItems = collectedItems.slice(0, targetLimit);
  // 仅当有未读取的数据时返回分页标记
  const nextKey = collectedItems.length > targetLimit ? lastEvaluatedKey : undefined;

  return {
    items: finalItems,
    LastEvaluatedKey: nextKey
  };
}

修复说明 #

• 动态调整扫描Limit：每次扫描前计算剩余需要的结果数，设置本次扫描的Limit为该数值，避免获取不必要的数据。
• 基于实际结果数判断终止：直接用collectedItems.length跟踪已获取的有效结果，逻辑更准确直观。
• 正确使用服务端分页标记：保留DynamoDB返回的LastEvaluatedKey，确保下一次分页能正确定位起始位置。
• 无副作用参数处理：复制传入的参数对象，避免修改外部原参数。

内容的提问来源于stack exchange，提问作者lucasbbs.dk