DynamoDB单表设计中Scan操作Limit参数异常问题求助

在DynamoDB单表设计场景下，我想限制每次查询返回的元素数量，但执行Scan操作时只得到4个结果。查看表中前10条元素后发现，Scan是先获取指定Limit数量的元素，再应用过滤条件，最终返回的是过滤后符合条件的结果，而非设置的Limit数量。

我的分页查询代码如下：

async paginate<TEntity>(
  limit = 10,
  start_key: any,
  TableName = $env.MAIN_TABLE
): Promise<Paginate<TEntity>> {
  Assert.ok(TableName)
  const items= await this.instance.scan({
     TableName,
     Limit: limit,
     ExclusiveStartKey: start_key,
     FilterExpression: 'contains(PK, :PK)',
     ExpressionAttributeValues: {
       ':PK': 'QUIZ#'
     }
  })
  return items
}

请问有什么解决办法？

1. 改用Query操作替代Scan（最优方案） #

DynamoDB的Query操作基于主键（PK）或主键+排序键（SK）精准查询，不会先取Limit再过滤，而是直接定位符合条件的数据，返回数量能匹配设置的Limit。

你的过滤条件是匹配包含QUIZ#的PK，如果PK格式是QUIZ#xxx（比如QUIZ#123），可以用begins_with条件配合Query实现：

async paginate<TEntity>(
  limit = 10,
  start_key: any,
  TableName = $env.MAIN_TABLE
): Promise<Paginate<TEntity>> {
  Assert.ok(TableName)
  const items= await this.instance.query({
     TableName,
     Limit: limit,
     ExclusiveStartKey: start_key,
     KeyConditionExpression: 'begins_with(PK, :PK)',
     ExpressionAttributeValues: {
       ':PK': 'QUIZ#'
     }
  })
  return items
}

如果PK就是QUIZ#（无后缀），直接用PK = :PK作为KeyConditionExpression即可，效率更高。

2. 循环Scan直到收集足够结果（次优方案） #

如果必须用Scan，可以循环调用Scan，每次获取候选元素、过滤后收集，直到达到目标数量或遍历完所有数据，注意通过LastEvaluatedKey处理分页：

async paginate<TEntity>(
  targetLimit = 10,
  start_key: any,
  TableName = $env.MAIN_TABLE
): Promise<Paginate<TEntity>> {
  Assert.ok(TableName)
  const collectedItems: TEntity[] = []
  let lastEvaluatedKey = start_key

  while (collectedItems.length < targetLimit && lastEvaluatedKey !== undefined) {
    const result = await this.instance.scan({
      TableName,
      Limit: targetLimit,
      ExclusiveStartKey: lastEvaluatedKey,
      FilterExpression: 'contains(PK, :PK)',
      ExpressionAttributeValues: {
        ':PK': 'QUIZ#'
      }
    })

    collectedItems.push(...result.Items as TEntity[])
    lastEvaluatedKey = result.LastEvaluatedKey
  }

  return {
    Items: collectedItems.slice(0, targetLimit),
    LastEvaluatedKey: lastEvaluatedKey
  }
}

这种方法会消耗更多读取容量单位（RCU），仅适合数据量不大的场景。

3. 预估过滤命中率调整Limit（不推荐） #

如果能大致预估过滤命中率，可以设置更大的Limit值，比如命中率40%时，要拿10个结果就把Limit设为25。但这种方法完全依赖数据分布稳定性，生产环境不建议使用。

内容的提问来源于stack exchange，提问作者lucasbbs.dk