如何同时使用System.Linq.Async与Azure Blob存储分页功能？

问题本质：AsyncPageable<T>实现了IAsyncEnumerable<T>，但使用System.Linq.Async的Where/OrderBy/Take等方法后，返回结果会变为IAsyncEnumerable<T>，不再保留AsyncPageable<T>类型，因此无法调用专属的AsPages方法。

根据业务需求，有两种解决方案：

方案1：先分页，再做Linq操作（推荐，性能更优） #

如果不需要全局排序/过滤，优先选择这种方式——先通过AsPages获取分页数据，再对每页内的元素执行过滤、排序和截取操作，能有效减少网络传输的数据量。

var dateTimeCreatedAgo = DateTime.UtcNow.AddDays(-15);
int takeSize = 10;
int segmentSize = 50;

await foreach (var page in blobContainerClient.GetBlobsAsync(prefix: prefix).AsPages(default, segmentSize))
{
    // 对当前页的元素执行Linq操作
    var processedItems = page.Values
        .Where(bi => bi.Properties.CreatedOn < dateTimeCreatedAgo)
        .OrderBy(bi => bi.Properties.CreatedOn)
        .Take(takeSize)
        .ToList();

    // 在这里处理筛选后的结果
    foreach (var item in processedItems)
    {
        // 业务逻辑代码
    }
}

方案2：先做Linq操作，再转换为AsyncPageable（全局场景适用） #

如果必须先完成全局过滤、排序再分页（比如需要全局排序后取指定页码的数据），可以将Linq操作后的IAsyncEnumerable<T>手动转换为AsyncPageable<T>，实现自定义分页逻辑：

var dateTimeCreatedAgo = DateTime.UtcNow.AddDays(-15);
int takeSize = 10;
int segmentSize = 50;

// 先执行全局Linq操作，得到IAsyncEnumerable<BlobItem>
var filteredItems = blobContainerClient.GetBlobsAsync(prefix: prefix)
    .Where(bi => bi.Properties.CreatedOn < dateTimeCreatedAgo)
    .OrderBy(bi => bi.Properties.CreatedOn)
    .Take(takeSize);

// 将IAsyncEnumerable转换为AsyncPageable，实现手动分页
var pageableResult = AsyncPageable<BlobItem>.FromPages(
    AsyncEnumerableEx.Generate(
        (currentOffset: 0, hasMore: true),
        state => state.hasMore,
        async state =>
        {
            // 从当前偏移量开始取segmentSize个元素
            var pageItems = await filteredItems
                .Skip(state.currentOffset)
                .Take(segmentSize)
                .ToListAsync();

            // 计算下一页偏移量，判断是否还有更多数据
            var nextOffset = pageItems.Count == segmentSize ? state.currentOffset + segmentSize : -1;
            var page = Page<BlobItem>.FromValues(pageItems, nextOffset.ToString(), null);
            
            return (page, (currentOffset: nextOffset, hasMore: nextOffset != -1));
        },
        state => state
    )
);

// 现在可以正常调用AsPages遍历分页结果
await foreach (var page in pageableResult.AsPages())
{
    // 处理每页数据
}

注意事项 #

• 方案1的过滤和排序是基于单页数据的，不是全局范围的，适合对数据范围要求不严格的场景
• 方案2需要先将所有符合Linq条件的数据拉取到客户端内存中再分页，数据量较大时可能会影响性能，需谨慎使用

内容的提问来源于stack exchange，提问作者Marcel