TypeScript编写Lambda时如何对DynamoDB Scan结果实现无重复分页

核心机制说明 #

DynamoDB的Scan操作本身已经天然保证分页无重复：你每次调用后拿到的lastEvaluatedKey是DynamoDB标记的本次遍历结束的精确位置，下一次请求将这个值作为startKey传入时，DynamoDB会从该位置的下一条数据开始返回，绝对不会返回之前已经返回过的条目，和返回结果的顺序无关。你举的例子中，第一次返回[T5, T8, T1, T4]后传入T4的主键作为startKey，后续返回结果天然不会包含之前出现的4个条目，这一点不需要额外开发逻辑保证。

现有代码的问题修复 #

你当前的代码存在逻辑错误，导致分页参数完全不生效：你遍历了分页器的所有页面，相当于每次请求都会拉取从startKey开始的全量剩余数据，而不是你需要的指定条数的单页数据。修复后的代码如下：

无过滤条件的最简实现 #

如果你的扫描没有额外过滤条件，直接取单页返回即可：

import dbContext from '@dbModel/dbContext';
import Tag from '@dbModel/tables/tags';
import { ScanOptions } from '@aws/dynamodb-data-mapper';

const scanTag = async (filter: any): Promise<{
    items: Tag[],
    lastKey: Partial<Tag>
}> => {
    const dbFilter: ScanOptions = {
        limit: filter.limit,
        // 注意：直接透传客户端返回的完整lastKey，不要手动拼接id字段，避免复合主键场景出错
        startKey: filter?.startKey,
        readConsistency: 'strong'
    };

    const paginator = dbContext.scan(Tag, dbFilter).pages();
    const pageResult = await paginator.next();
    
    if (pageResult.done) {
        return {
            items: [],
            lastKey: undefined
        };
    }

    return {
        items: pageResult.value,
        lastKey: paginator.lastEvaluatedKey
    };
};

export default scanTag;

带过滤条件的实现 #

如果你加了FilterExpression过滤条件，单次请求可能因为过滤后条目不足，需要循环拉取直到凑够指定的limit条数：

import dbContext from '@dbModel/dbContext';
import Tag from '@dbModel/tables/tags';
import { ScanOptions } from '@aws/dynamodb-data-mapper';

const scanTag = async (filter: any): Promise<{
    items: Tag[],
    lastKey: Partial<Tag>
}> => {
    const items: Tag[] = [];
    let currentStartKey = filter?.startKey;
    const targetCount = filter.limit;

    while (items.length < targetCount) {
        const dbFilter: ScanOptions = {
            // 每次只拉取还差的条数，减少多余请求
            limit: targetCount - items.length,
            startKey: currentStartKey,
            readConsistency: 'strong'
            // 你的过滤条件可以加在这里
        };

        const paginator = dbContext.scan(Tag, dbFilter).pages();
        const pageResult = await paginator.next();
        
        if (pageResult.done) break;
        items.push(...pageResult.value);
        currentStartKey = paginator.lastEvaluatedKey;
        // 没有更多数据时终止循环
        if (!currentStartKey) break;
    }

    return {
        items,
        lastKey: currentStartKey
    };
};

export default scanTag;

可选优化：固定返回顺序 #

如果你需要返回的标签列表是固定顺序（比如按id排序、按创建时间排序），Scan操作本身无法实现全局排序，建议新增全局二级索引（GSI）：

• 给所有标签加一个固定值的字段，比如type，值统一为tag
• 建GSI时将type设为分区键，你需要排序的字段（比如id、createTime）设为排序键
• 后续改用Query操作查询这个GSI，即可按指定顺序返回结果，分页逻辑和Scan完全一致，同样保证无重复。

内容的提问来源于stack exchange，提问作者Simone Urbani