如何在DynamoDB中先过滤再分页以保证每页数据量？

首先纠正一个误区：换成Scan并不能解决你要保证每页返回指定数量的需求，因为Scan的FilterExpression和Query的逻辑完全一致——都是在DynamoDB读取数据之后才执行过滤，Limit参数限制的是读取的条目数，而非过滤后的最终条目数。

不过还是先说明如何在Scan请求中添加PK和SK的条件：你可以把PK和SK的判断逻辑写入FilterExpression，用表达式名称和值占位符构建条件，示例代码如下：

val scanRequestBuilder = ScanEnhancedRequest.builder()
        .limit(source.getLimit())
        .exclusiveStartKey(startKey);

// 构建包含PK、SK和status的过滤条件
val expressionBuilder = Expression.builder();
val conditionClauses = new ArrayList<String>();
val exprNames = new HashMap<String, String>();
val exprValues = new HashMap<String, AttributeValue>();

// PK等于指定值
conditionClauses.add("#pk = :pkVal");
exprNames.put("#pk", "你的PK字段名"); // 替换为你表中实际的分区键字段名
exprValues.put(":pkVal", AttributeValue.builder().s(source.getParrentEntityId()).build());

// SK以指定前缀开头
conditionClauses.add("begins_with(#sk, :skPrefix)");
exprNames.put("#sk", "你的SK字段名"); // 替换为你表中实际的排序键字段名
exprValues.put(":skPrefix", AttributeValue.builder().s(SOME_PREFIX.getValue() + "#").build());

// 追加status过滤条件（如果存在）
if (nonNull(source.getStatus())) {
    conditionClauses.add("#status = :status");
    exprNames.put("#status", "st");
    exprValues.put(":status", AttributeValue.builder().s(source.getStatus().toString()).build());
}

// 拼接所有条件并设置到请求中
expressionBuilder.expression(String.join(" AND ", conditionClauses))
        .expressionNames(exprNames)
        .expressionValues(exprValues);

scanRequestBuilder.filterExpression(expressionBuilder.build());

val pages = dynamoDbTable.scan(scanRequestBuilder.build());

但必须再次强调：Scan的效率远低于Query——Query是利用主键索引直接定位数据，而Scan是全表扫描，且这种方式依然无法解决你要保证每页过滤后条目数量的问题。

真正满足需求的解决方案 #

DynamoDB本身不支持「先过滤再分页」的逻辑，所有过滤操作都在读取数据后执行。要保证每页返回过滤后的条目数量等于source.getLimit()，你需要在客户端自行处理分页逻辑：

1. 发起Query请求时，可适当调大Limit值（比如设为目标数量的2倍），减少重复请求次数
2. 对返回的条目进行本地过滤，收集符合条件的内容
3. 如果收集到的条目未达到目标数量，就用lastEvaluatedKey继续发起下一次Query，直到凑够数量或无更多数据
4. 把凑够的条目作为当前页，剩余未处理条目或下一次的exclusiveStartKey作为分页标记

示例逻辑伪代码：

List<YourEntity> pageItems = new ArrayList<>();
Key lastEvaluatedKey = startKey;

while (pageItems.size() < source.getLimit() && lastEvaluatedKey != null) {
    // 发起Query请求，设置较大的Limit以减少请求次数
    val requestBuilder = QueryEnhancedRequest.builder()
            .queryConditional(keyEqual)
            .limit(source.getLimit() * 2)
            .exclusiveStartKey(lastEvaluatedKey);
    val pages = dynamoDbTable.query(requestBuilder.build());
    
    // 遍历结果，过滤出符合status条件的条目
    for (Page<YourEntity, Key> page : pages) {
        for (YourEntity item : page.items()) {
            if (source.getStatus() == null || source.getStatus().toString().equals(item.getSt())) {
                pageItems.add(item);
                if (pageItems.size() >= source.getLimit()) break;
            }
        }
        lastEvaluatedKey = page.lastEvaluatedKey();
        if (pageItems.size() >= source.getLimit()) break;
    }
}

// pageItems即为当前页的最终条目，数量不超过source.getLimit()，不足则表示无更多数据

这种方式虽然需要客户端多做一些处理，但既能保证每页条目数量符合要求，又能保留Query的索引查询效率，比使用Scan更合理。

内容的提问来源于stack exchange，提问作者MaxDudkov