DynamoDB反向分页时空结果集问题处理求教

问题核心 #

在使用AWS SDK for .NET的GetNextSetAsync()实现DynamoDB反向分页时，当最后评估键指向表末尾最后一页的首个元素，查询返回空结果，不符合预期（该记录应被包含）。本质原因是：逆序查询时DynamoDB默认排除ExclusiveStartKey对应的记录，同时原有逻辑在边界页的分页令牌生成、查询条件设置上存在误判。

解决方案要点 #

• 调整查询请求数量：始终请求PageSize + 1条记录，用于明确判断是否存在下一页，同时确保目标记录被包含在结果集中。
• 修正分页存在性判断：仅当实际查询到的记录数超过PageSize时，才判定存在下一页，避免依赖search.IsDone的边界误判。
• 优化反向分页令牌生成：仅在存在额外记录时生成下一页令牌，防止空结果的触发。

修改后的代码实现 #

// ... 初始化DynamoDB context和Search对象的代码注意：
// 处理反向分页令牌时，需设置ScanIndexForward = false，并按PageSize+1数量查询
var requestedCount = page.PageSize + 1; // 多查1条用于判断下一页
var data = new List<TEntity>();
bool hasItemsBefore = false;
bool hasItemsAfter = false;

while (!search.IsDone && data.Count < requestedCount)
{
    data.AddRange(await search.GetNextSetAsync());
}

TEntity nextItem = default(TEntity);
TEntity prevItem = default(TEntity);

if (/* 判断反向分页的条件 */)
{
    // 反向分页逻辑修改
    hasItemsBefore = !string.IsNullOrEmpty(pageTokenData.DynamoPageKey());
    // 仅当查询记录数超过PageSize时，判定存在下一页
    hasItemsAfter = data.Count > page.PageSize;
    
    if (hasItemsAfter)
    {
        nextItem = data.Last();
        data = data.Take(page.PageSize).ToList();
    }
    else
    {
        nextItem = default; // 无额外记录，无需生成下一页令牌
    }
}
else
{
    // 正向分页逻辑优化
    hasItemsAfter = !string.IsNullOrEmpty(pageTokenData.DynamoPageKey());
    hasItemsBefore = data.Count > page.PageSize;
    
    if (hasItemsBefore)
    {
        data = data.Take(page.PageSize).ToList();
        nextItem = data.First();
        data.Reverse();
    }
    else
    {
        data.Reverse();
        nextItem = default;
    }
}

prevItem = data.FirstOrDefault();
PaginationTokenData? nextPageToken = null;
PaginationTokenData? prevPageToken = null;

if (hasItemsAfter && nextItem != null)
{
    nextPageToken = new PaginationTokenData(
        page.Descending,
        _context.GetDynamoKeyEntry(nextItem, indexName)!
    );
}

if (hasItemsBefore && prevItem != null)
{
    prevPageToken = new PaginationTokenData(
        !page.Descending,
        _context.GetDynamoKeyEntry(prevItem, indexName)!
    );
}

var result = new PaginationResult<TEntity>
{
    Data = data,
    PageSize = data.Count,
    PrevPageToken = prevPageToken?.ToToken(),
    NextPageToken = nextPageToken?.ToToken()
};

关键逻辑说明 #

1. 查询数量控制：通过请求PageSize + 1条记录，既保证当前页数据完整，又能准确判断是否存在下一页，避免边界场景的空结果。
2. 反向分页边界处理：当查询到的记录数等于PageSize时，说明已经到达表的末尾，不会生成无效的下一页令牌，也就不会触发空结果查询。
3. ExclusiveStartKey兼容：在初始化Search对象时，反向分页需设置ScanIndexForward = false，配合多查一条的逻辑，自动覆盖DynamoDB逆序查询排除起始键的行为，确保目标记录被包含在结果中。

内容的提问来源于stack exchange，提问作者viking