低代码OutSystems环境下C#库优化Cosmos DB查询性能不一致问题

• 技术栈：OutSystems低代码平台，每次查询需重新初始化Cosmos DB连接（非持续运行API）
• 查询场景：返回约8000条含10列小数据的记录，耗时波动在800ms-3000ms之间（仅单人使用数据库）
• 性能现象：查询超过1000条记录时，性能与查询8000条相近；查询Top 1耗时小于40ms，查询Top 1000耗时大于1200ms
• 补充：查询返回扁平JSON结构

当前代码：

private async Task<string> QueryItemsAsync(string filter, string partitionKey, int offset, int limit, string columns = null)
{
    var sqlQuery = QueryBuilder(filter, partitionKey, offset, limit, columns);
    var results = new List<Dictionary<string, string>>();

    using (var feedIterator = this.container.GetItemQueryIterator<Dictionary<string, string>>(sqlQuery, null, new QueryRequestOptions() { }))
    {
        while (feedIterator.HasMoreResults)
        {
            foreach (var item in await feedIterator.ReadNextAsync().ConfigureAwait(false))
            {
                results.Add(item);
            }
        }
    }
    return JsonConvert.SerializeObject(results);
}

疑问：

1. 当前的循环是否为最优实现？
2. 能否对这段代码进行重构？

关于循环实现的最优性 #

当前循环是Cosmos DB SDK标准的分页读取逻辑，但存在可优化的点：

• 逐行调用results.Add(item)会频繁触发List内存扩容，尤其是8000条数据的场景，内存开销和操作耗时会被放大
• ConfigureAwait(false)的使用是合理的，但要确认QueryBuilder生成的SQL是否正确携带了分区键过滤——跨分区查询会大幅增加耗时，加上你每次都要初始化连接，这个影响会更明显

代码重构方案 #

结合你的场景（每次初始化连接、扁平JSON），重构重点放在减少内存开销、优化序列化、以及SDK配置上：

重构后的代码 #

private async Task<string> QueryItemsAsync(string filter, string partitionKey, int offset, int limit, string columns = null)
{
    var sqlQuery = QueryBuilder(filter, partitionKey, offset, limit, columns);
    // 预分配列表容量，避免多次内存扩容
    var results = new List<Dictionary<string, string>>(limit);
    
    var requestOptions = new QueryRequestOptions
    {
        // 强制绑定分区键，避免跨分区查询（如果QueryBuilder未自动处理）
        PartitionKey = string.IsNullOrEmpty(partitionKey) ? null : new PartitionKey(partitionKey),
        // 禁用查询计量，减少SDK内部额外开销
        EnableQueryMetrics = false,
        // 设置适合小数据量的并行度，平衡读取效率和资源占用
        MaxConcurrency = 2
    };

    using (var feedIterator = this.container.GetItemQueryIterator<Dictionary<string, string>>(sqlQuery, null, requestOptions))
    {
        while (feedIterator.HasMoreResults)
        {
            // 批量添加整页结果，替代逐行Add
            var pageResults = await feedIterator.ReadNextAsync().ConfigureAwait(false);
            results.AddRange(pageResults);
        }
    }

    // 针对扁平JSON优化序列化配置
    var jsonSettings = new JsonSerializerSettings
    {
        Formatting = Formatting.None,
        NullValueHandling = NullValueHandling.Ignore,
        // 扁平结构无需引用循环检测，关闭以提升速度
        ReferenceLoopHandling = ReferenceLoopHandling.Ignore
    };
    return JsonConvert.SerializeObject(results, jsonSettings);
}

额外优化点 #

1. SQL查询优化：检查QueryBuilder是否使用了OFFSET/LIMIT语法——Cosmos DB的OFFSET会强制扫描并跳过指定数量的数据，这就是Top1000比Top1慢很多的核心原因。建议去掉OFFSET，直接依赖SDK的分页迭代器读取结果，避免无意义的数据扫描。
2. 连接复用：尝试在OutSystems中缓存CosmosClient实例（比如用全局变量或单例模式），CosmosClient是线程安全的，复用连接池能大幅减少每次初始化连接的开销。
3. 数据类型优化：替换Dictionary<string, string>为强类型POCO类（对应你的扁平JSON结构），强类型的序列化/反序列化速度比字典快30%以上，示例：

public class FlatDataEntity
{
    public string Column1 { get; set; }
    public string Column2 { get; set; }
    // 对应剩余8列属性
}

内容的提问来源于stack exchange，提问作者SCramphorn