如何在不反序列化的情况下从CosmosDB批量下载独立JSON文档？

背景与目标 #

• 定期创建Cosmos DB分区快照，单个分区包含100-10000个文档，单文档大小1KB-200KB，分区总JSON大小通常小于50MB
• 需单独处理每个文档并获取其id
• 部署在Azure函数消费计划，需严格控制内存、CPU及执行时长
• 涉及数千个分区，使用Microsoft.Azure.Cosmos v3 C# API

已尝试方案 #

方案一：逐个查询（10000次请求） #

通过SQL查询分区内所有文档id，再逐个调用ReadItemStreamAsync(id)获取原始文档流。

• 优势：跳过反序列化，可控制内存中同时加载的文档数量，保留id
• 劣势：请求量过大（每个分区1+10000次请求，总量达数百万），RU成本远高于批量查询，不适合大规模操作

方案二：单次流式查询所有文档 #

使用Container.GetItemQueryStreamIterator()执行select * from c where c.partition = @key批量查询。

• 优势：RU消耗低，请求量少（仅查询+续页请求），可通过MaxItemsCount控制批量大小
• 劣势：响应为单个JSON数组，需反序列化整个数组才能拆分单文档并映射id，违背流式加载降低资源消耗的初衷；ReadManyItemsStreamAsync(..)存在同样问题，返回包含所有条目的单个响应流

问题 #

CosmosDB API是否提供更优方案，可批量下载大量独立的原始JSON文档且无需反序列化？ 最好能控制客户端缓冲的数据量。

解决方案 #

1. 使用FeedResponse.GetRawJsonDocument属性（推荐，v3.20+ SDK） #

从Microsoft.Azure.Cosmos v3.20版本开始，FeedResponse新增GetRawJsonDocument方法，可直接获取单个文档的原始JSON字符串，无需反序列化整个对象。既保留批量查询的低RU优势，又能避免全数组反序列化的内存消耗，同时通过MaxItemCount控制内存负载：

FeedIterator<dynamic> iterator = container.GetItemQueryIterator<dynamic>(
    queryDefinition: new QueryDefinition("select * from c where c.partition = @key")
        .WithParameter("@key", partitionKey),
    requestOptions: new QueryRequestOptions { MaxItemCount = 100 });

while (iterator.HasMoreResults)
{
    FeedResponse<dynamic> response = await iterator.ReadNextAsync();
    foreach (var doc in response)
    {
        // 获取单文档原始JSON
        string rawJson = response.GetRawJsonDocument(doc);
        // 提取id：可从rawJson中快速匹配"id":"xxx"片段，无需完整反序列化
        int idStart = rawJson.IndexOf("\"id\":\"") + 6;
        int idEnd = rawJson.IndexOf("\"", idStart);
        string id = rawJson.Substring(idStart, idEnd - idStart);
        
        // 直接处理原始JSON文档
        ProcessRawDocument(id, rawJson);
    }
}

2. 手动拆分流式查询响应（兼容旧版SDK） #

若使用低于v3.20的SDK，可对GetItemQueryStreamIterator()返回的响应流进行逐片段解析，跳过数组反序列化步骤：

FeedIterator iterator = container.GetItemQueryStreamIterator(
    queryDefinition: new QueryDefinition("select * from c where c.partition = @key")
        .WithParameter("@key", partitionKey),
    requestOptions: new QueryRequestOptions { MaxItemCount = 100 });

while (iterator.HasMoreResults)
{
    using (ResponseMessage response = await iterator.ReadNextAsync())
    {
        response.EnsureSuccessStatusCode();
        using (StreamReader reader = new StreamReader(response.Content))
        {
            // 跳过数组开头的'['
            char[] buffer = new char[1];
            await reader.ReadAsync(buffer, 0, 1);
            
            string line;
            while ((line = await reader.ReadLineAsync()) != null)
            {
                string trimmedLine = line.Trim().TrimEnd(',');
                if (string.IsNullOrEmpty(trimmedLine) || trimmedLine == "]") break;
                
                // 提取id
                int idStart = trimmedLine.IndexOf("\"id\":\"") + 6;
                int idEnd = trimmedLine.IndexOf("\"", idStart);
                string id = trimmedLine.Substring(idStart, idEnd - idStart);
                
                // trimmedLine即为单文档原始JSON，直接处理
                ProcessRawDocument(id, trimmedLine);
            }
        }
    }
}

3. 分区键范围定向扫描（高级场景） #

针对超大规模分区，可通过GetPartitionKeyRangesAsync获取目标分区的键范围，再设置QueryRequestOptions.PartitionKeyRangeId进行定向扫描，结合流式拆分进一步提升性能。此方法复杂度较高，仅在极端场景下使用。

总结 #

优先采用GetRawJsonDocument方案，它在RU成本、资源消耗、代码简洁性之间达到最优平衡；若受限于SDK版本，手动拆分流式响应是替代方案，能有效避免全数组反序列化带来的内存压力，同时控制请求量与RU消耗。

内容的提问来源于stack exchange，提问作者Imre Pühvel