C#同步代码中通过Entity Framework实现查询并行运行的最佳实践

原实现性能瓶颈分析 #

Parallel.ForEach 专为CPU密集型计算设计，会占用线程池线程阻塞等待IO（数据库查询）完成，线程池调度、上下文切换的开销会抵消并行查询的收益，且默认的线程池动态扩容/缩容策略无法保证稳定的4并发度，因此不适用于你的IO密集场景。
你原代码中的lock锁并不是主要性能瓶颈，因为锁仅包裹内存中集合合并的操作，耗时占比极低，当然你也可以改用线程安全集合省去显式加锁的代码。

推荐实现：Task.WaitAll 方案 #

你担心的Task.WaitAll异常问题在你的场景下完全可以规避，只要保证每个查询任务独立实例化EF上下文、无跨线程上下文共享，该方案是安全且高效的，适配你无法改造为异步方法的遗留系统限制。
优化后代码如下：

// 将大列表拆分为每个包含500个id的分桶
IEnumerable<IEnumerable<long>> idsToLoad = ids.Bucketize(bucketSize: 500);
if (ShouldLoadDataInParallel())
{
    // 为每个分桶创建独立的查询任务，Task.Run会将任务调度到线程池执行
    Task<List<long>>[] queryTasks = idsToLoad.Select(bucket => Task.Run(() =>
    {
        // 注意：GetIdsQueryResult 内部必须单独实例化DbContext，禁止跨线程共享上下文
        return GetIdsQueryResult(bucket);
    })).ToArray();

    // 阻塞等待所有查询任务完成，符合你不介意阻塞当前线程的要求
    Task.WaitAll(queryTasks);

    // 所有任务已完成，直接合并结果无需加锁
    foreach (var task in queryTasks)
    {
        allLoadedIds.AddRange(task.Result);
    }
}
else
{
    // 原有串行逻辑保留
    foreach (var bucket in idsToLoad)
    {
        List<long> loadedIds = GetIdsQueryResult(bucket);
        allLoadedIds.AddRange(loadedIds);
    }
}

严格控制并行度的扩展实现 #

如果需要严格限制最多4个并发查询，避免给数据库造成过大压力，可以引入SemaphoreSlim做并发限流：

if (ShouldLoadDataInParallel())
{
    // 最多允许4个任务同时执行
    using SemaphoreSlim concurrencyLimiter = new SemaphoreSlim(4, 4);
    Task<List<long>>[] queryTasks = idsToLoad.Select(async bucket =>
    {
        await concurrencyLimiter.WaitAsync();
        try
        {
            return GetIdsQueryResult(bucket);
        }
        finally
        {
            concurrencyLimiter.Release();
        }
    }).ToArray();

    Task.WaitAll(queryTasks);
    // 合并结果逻辑同上
}

注意事项 #

• EF上下文隔离：必须保证GetIdsQueryResult方法每次执行都会创建新的DbContext实例，EF上下文不支持多线程并发操作，共享上下文会触发不可预期的异常或数据错误。
• 异常处理：Task.WaitAll会将所有子任务的异常包装为AggregateException抛出，你可以按需捕获该异常，针对单个查询失败的场景做降级处理。
• 数据库侧验证：建议先做基准测试对比分桶并行查询和单次2000id的IN查询的性能，确保id字段已建索引，避免并行查询反而因多次IO开销性能更差。

内容的提问来源于stack exchange，提问作者Avihai Sudai