.NET中多集合聚合结果的Offset分页实现方案咨询

方案一：内存层面分页（快速实现，小数据量场景） #

这种方案直接在合并所有查询结果后，在内存中执行分页逻辑，适合数据总量不大的场景。

实现步骤 #

1. 修改API方法参数，新增uint? offset（偏移量）参数
2. 在合并两个集合的结果后，先执行Skip(offset)跳过指定数量的条目，再用Take(limit)获取分页数据

代码示例 #

public async Task<IEnumerable<Definition>> GetAllAsync(Context context, string filterCondition,
    uint? offset, uint? limit)
{
    var sharedQuery = SharedDbQueryableCollection
        .ApplyContext(context, _scopeConditionEnforcement)
        .ApplyFilter(filterCondition, _scopeConditionEnforcement);
    var otherQuery = otherDbQueryableCollection
        .ApplyContext(context, _scopeConditionEnforcement)
        .ApplyFilter(filterCondition, _scopeConditionEnforcement);

    var sharedResult = _mongoDbRepository.GetAllAsync(sharedQuery);
    var otherResult = _mongoDbRepository.GetAllAsync(otherQuery);
    var combinedResult = (await Task.WhenAll(sharedResult, otherResult))
        .SelectMany(t => t).ToList();

    // 应用Offset分页逻辑
    if (offset.HasValue && limit.HasValue)
    {
        return combinedResult.Skip((int)offset.Value).Take((int)limit.Value);
    }
    else if (limit.HasValue)
    {
        return combinedResult.Take((int)limit.Value);
    }
    return combinedResult;
}

优缺点 #

• 优点：代码改动极小，实现成本低，无需调整数据库查询逻辑
• 缺点：会将所有符合条件的数据加载到内存，数据量较大时会占用大量资源，性能下降明显

方案二：数据库层面分页（高性能，大数据量场景） #

这种方案在数据库查询阶段就限制返回的数据量，减少内存加载的条目数，适合数据总量较大的场景。核心思路是：先让每个集合返回足够多的候选数据（offset + limit条），合并后再做最终分页。

实现步骤 #

1. 为两个集合的查询添加稳定的排序规则（必须保证分页结果的一致性，避免每次分页返回不同数据）
2. 每个集合先查询offset + limit条数据，确保合并后不会漏掉目标页的内容
3. 合并结果后去重（如果两个集合存在重复数据）、再次排序，最后执行分页

代码示例 #

public async Task<IEnumerable<Definition>> GetAllAsync(Context context, string filterCondition,
    uint? offset, uint? limit)
{
    var targetLimit = limit ?? uint.MaxValue;
    var totalCandidateCount = offset.GetValueOrDefault() + targetLimit;

    // 为每个查询添加排序和候选数据量限制
    var sharedQuery = SharedDbQueryableCollection
        .ApplyContext(context, _scopeConditionEnforcement)
        .ApplyFilter(filterCondition, _scopeConditionEnforcement)
        .OrderBy(d => d.Id) // 替换为实际业务的稳定排序字段
        .Take((int)totalCandidateCount);

    var otherQuery = otherDbQueryableCollection
        .ApplyContext(context, _scopeConditionEnforcement)
        .ApplyFilter(filterCondition, _scopeConditionEnforcement)
        .OrderBy(d => d.Id)
        .Take((int)totalCandidateCount);

    var sharedResult = await _mongoDbRepository.GetAllAsync(sharedQuery);
    var otherResult = await _mongoDbRepository.GetAllAsync(otherQuery);

    // 合并、去重、排序、最终分页
    var combinedResult = sharedResult.Concat(otherResult)
        .DistinctBy(d => d.Id) // 若存在重复数据则去重，可根据业务调整
        .OrderBy(d => d.Id)
        .Skip((int)offset.GetValueOrDefault())
        .Take((int)targetLimit)
        .ToList();

    return combinedResult;
}

关键注意点 #

• 必须使用稳定且唯一的排序字段（如主键Id），否则分页结果会出现数据重复或遗漏
• 如果两个集合不存在重复数据，可以去掉DistinctBy步骤优化性能

优缺点 #

• 优点：大幅减少内存加载的数据量，性能更优，适合大数据量场景
• 缺点：实现逻辑更复杂，需要处理排序、去重等额外逻辑

方案选择建议 #

• 小数据量场景（总数据量几千条以内）：直接用方案一快速落地
• 大数据量或性能敏感场景：必须采用方案二，同时确保排序字段的正确性

内容的提问来源于stack exchange，提问作者Divya Vyas