如何构建LINQ查询，避免调用带limit/offset的第三方方法产生额外请求？

现有代码通过Enumerable.Range生成所有可能的offset，每个offset都先调用api3.SearchQuery，再通过TakeWhile(a => a.offset <= a.result.total)判断是否继续。问题在于，当offset超过total时，对应的API调用已经执行完毕，返回的items为空，这就产生了一次无意义的额外调用。

方案1：使用迭代器手动控制调用流程 #

这种方式最直观，通过循环逐次调用API，拿到结果后先返回数据，再判断是否需要继续调用，从根源避免额外调用：

public static IEnumerable<Item> FetchAllSearchResults(string searchTerm, int maxLimit)
{
    int currentOffset = 0;
    while (true)
    {
        var response = api3.SearchQuery(searchTerm, maxLimit, currentOffset);
        
        // 返回当前页的所有条目
        foreach (var item in response.items)
        {
            yield return item;
        }

        currentOffset += maxLimit;
        // 当offset超过总条数时，终止循环，不再调用API
        if (currentOffset > response.total)
        {
            break;
        }
    }
}

// 调用方式
var allItems = FetchAllSearchResults(searchTerm, maxLimit).ToArray();

方案2：基于首次结果计算所需调用次数（LINQ风格） #

先调用一次API获取总条数，再计算需要调用的总页数，仅生成必要的offset并调用API，避免无效请求：

// 首次调用获取总条数和第一页数据
var firstPage = api3.SearchQuery(searchTerm, maxLimit, 0);
var totalItems = firstPage.total;

// 计算剩余需要调用的页数（如果总条数大于单页限制）
var remainingPages = totalItems > maxLimit 
    ? (int)Math.Ceiling((totalItems - maxLimit) / (double)maxLimit) 
    : 0;

// 拼接第一页和后续页的结果
var allItems = firstPage.items
    .Concat(
        Enumerable.Range(1, remainingPages)
            .Select(page => page * maxLimit)
            .Select(offset => api3.SearchQuery(searchTerm, maxLimit, offset))
            .SelectMany(response => response.items)
    )
    .ToArray();

两种方案对比 #

• 方案1的优势：无需提前计算总页数，逻辑更简洁，且能处理API返回total动态变化的场景（虽然这种情况少见）。
• 方案2的优势：保持了LINQ链式调用的风格，适合偏好函数式写法的场景。

内容的提问来源于stack exchange，提问作者Denis