如何快速导出Azure Cosmos DB集合中的千万级全量文档？

核心问题根源 #

你的分区键设计（用id作为分区键，每个文档单独占一个分区）确实是读取性能低下、RU利用率不足的核心原因：

• Cosmos DB默认的单查询迭代器会串行遍历分区，当每个分区仅存1条数据时，单线程无法充分利用分配的40000 RU——跨分区查询的并行度依赖分区遍历的并发数，单迭代器不会自动并行处理所有分区。
• 调大MaxItemCount效果不明显，是因为跨分区查询的单页结果受分区遍历开销限制：每个分区只有1条数据，单页需要遍历数千个分区才能凑够结果，RU消耗主要在分区寻址而非数据读取，因此无法返回更多条目。

提速方案 #

1. 并行遍历所有分区（最优方案） #

既然每个文档对应独立分区，可通过获取所有分区键值，并行发起单个分区的点查询，最大化利用冗余RU：

// 1. 先获取所有分区键值（若已有id列表可跳过此步骤）
var allIds = new List<string>();
var idQuery = container.GetItemQueryIterator<string>("SELECT c.id FROM c");
while (idQuery.HasMoreResults)
{
    var response = await idQuery.ReadNextAsync().ConfigureAwait(false);
    allIds.AddRange(response.Resource);
}

// 2. 并行查询每个分区的文档
var records = new ConcurrentDictionary<string, Customer>();
var parallelOptions = new ParallelOptions
{
    MaxDegreeOfParallelism = 100 // 根据机器性能和RU调整，建议从50-200区间测试
};

await Parallel.ForEachAsync(allIds, parallelOptions, async (id, token) =>
{
    var partitionKey = new PartitionKey(id);
    // 单分区点查询，RU开销远低于跨分区扫描
    var response = await container.ReadItemAsync<Customer>(id, partitionKey, cancellationToken: token).ConfigureAwait(false);
    records.TryAdd(id, response.Resource);
});

2. 启用跨分区查询并行度 #

若不想提前获取所有id，可通过QueryRequestOptions设置并行分区数，让迭代器并行遍历多个分区：

var options = new QueryRequestOptions
{
    MaxItemCount = -1, // 让服务自动分配最优每页条数
    MaxConcurrency = 50 // 设置并行遍历的分区数，根据RU调整
};

using var queryIterator = container.GetItemQueryIterator<Customer>("select * from c", requestOptions: options);
var records = new ConcurrentDictionary<string, Customer>();

while (queryIterator.HasMoreResults)
{
    var response = await queryIterator.ReadNextAsync().ConfigureAwait(false);
    foreach (var customer in response.Resource)
    {
        records.TryAdd(customer.Id, customer);
    }
}

注：MaxConcurrency默认值为0（串行遍历），设置为正数后SDK会并行处理多个分区，能显著提升RU利用率，但效率略低于第一种并行点查询方案。

3. 长期优化：调整分区键设计（若业务允许） #

如果后续业务场景支持，建议重新设计分区键，将多个文档合并到同一分区（比如按用户类型、时间范围等分组），批量读取时能更高效地利用RU，但此方案需要重新导入数据，适合非紧急的长期优化。

关键注意事项 #

• 并行度不要设置过高，避免客户端机器资源耗尽或触发Cosmos DB限流
• 必须使用ConcurrentDictionary替代普通Dictionary，避免线程安全问题
• 优先选择点查询（ReadItemAsync），其RU开销远低于跨分区扫描

内容的提问来源于stack exchange，提问作者lahsrah