Go实现DynamoDB分页：LastEvaluatedKey困惑与NextPage调用疑问

问题背景 #

我在实现DynamoDB（DDB）查询分页时，对LastEvaluatedKey的使用感到困惑。初始实现代码能正常运行，但每次调用都能获取到有效数据页，导致始终存在LastEvaluatedKey，只有当用最后一个ID调用方法得到空响应时，才能判断没有更多数据。

为优化逻辑我修改了代码，运行正常，但不确定额外调用的那一次NextPage是否属于多余操作。

初始实现代码 #

func (t *...) GetAllPaginated(ctx context.Context, period string, lastId string) (..., error) {

    var lastEvaluatedKey map[string]types.AttributeValue

    if lastId != "" {
        lastEvaluatedKey = map[string]types.AttributeValue{
            "pk":      &types.AttributeValueMemberS{Value: ...},
            "sk":      &types.AttributeValueMemberS{Value: ...},
            "periodo": &types.AttributeValueMemberS{Value: ...},
        }
    }

    input := &dynamodb.QueryInput{
        ...
    }

    if len(lastEvaluatedKey) > 0 {
        input.ExclusiveStartKey = lastEvaluatedKey
    }

    paginator := dynamodb.NewQueryPaginator(t.dynamodbClient, input)

    var transactions []...

    if paginator.HasMorePages() {

      page, err := paginator.NextPage(ctx)

        if err != nil {
            log...
            return ...{}, err
        }

        for _, item := range page.Items {
            ...
            transactions = append(transactions, ...)
        }

        return ...<<transactions AND LAST ID read>>... , nil

    }

    return ...{}, nil

}

修改后的代码 #

func (t *...) GetAllPaginated(ctx context.Context, period string, lastId string) (..., error) {

    ...

    if paginator.HasMorePages() {

      page, err := paginator.NextPage(ctx)

        if err != nil {
            log...
            return ...{}, err
        }

        for _, item := range page.Items {
            ...
            transactions = append(transactions, ...)
        }

        paginator.NextPage(ctx)
        newLastId := ""

        if paginator.HasMorePages() {
           newLastId = transactions[len(transactions)-1].Id
        }

        return ...<<transactions AND NEW LAST ID>>... , nil

    }

    return ...{}, nil

}

解答：额外的NextPage调用完全多余，还会引发问题 #

1. 浪费资源：多调用一次NextPage等于多发起一次DynamoDB查询请求，既增加接口延迟，也会消耗更多读取容量单位（RCU）。
2. 数据丢失：这次额外调用获取的页面数据被直接丢弃，下一次分页会跳过该页面，导致中间数据永久丢失。
3. 逻辑冗余：判断是否还有更多数据根本不需要提前调用下一页，DynamoDB返回的QueryOutput本身就包含LastEvaluatedKey字段，这才是官方推荐的判断依据。

正确实现方式 #

直接从当前获取的page中读取LastEvaluatedKey，根据它是否存在来判断是否还有下一页，进而决定返回的下一次分页起始ID：

func (t *...) GetAllPaginated(ctx context.Context, period string, lastId string) (..., error) {
    var lastEvaluatedKey map[string]types.AttributeValue

    if lastId != "" {
        lastEvaluatedKey = map[string]types.AttributeValue{
            "pk":      &types.AttributeValueMemberS{Value: ...},
            "sk":      &types.AttributeValueMemberS{Value: ...},
            "periodo": &types.AttributeValueMemberS{Value: ...},
        }
    }

    input := &dynamodb.QueryInput{
        // 填充你的查询参数，如KeyConditionExpression、Limit等
    }

    if len(lastEvaluatedKey) > 0 {
        input.ExclusiveStartKey = lastEvaluatedKey
    }

    paginator := dynamodb.NewQueryPaginator(t.dynamodbClient, input)
    var transactions []...
    var newLastId string = ""

    // 获取当前页数据
    page, err := paginator.NextPage(ctx)
    if err != nil {
        log...
        return ...{}, err
    }

    for _, item := range page.Items {
        // 解析item到transactions数组
        transactions = append(transactions, ...)
    }

    // 核心判断：通过当前页的LastEvaluatedKey判断是否还有下一页
    if page.LastEvaluatedKey != nil && len(page.LastEvaluatedKey) > 0 {
        newLastId = transactions[len(transactions)-1].Id
    }

    return ...<<transactions AND NEW LAST ID>>... , nil
}

逻辑说明 #

初始实现中依赖paginator.HasMorePages()判断是不准确的——第一次调用该方法时，因为还未发起任何查询，它会默认返回true。正确的判断逻辑是：

• 如果page.LastEvaluatedKey不为空，说明还有更多数据需要分页获取；
• 如果该字段为空，说明当前就是最后一页，无需再返回分页起始ID。

这样修改后，既避免了多余请求，也能准确判断分页边界，同时不会丢失数据。

内容的提问来源于stack exchange，提问作者Pickles Dog