如何优化EF Core大数据表查询速度并降低内存占用？

核心问题 #

1. 当前代码会一次性把14000条LogStore数据全加载到内存，加上循环复制新对象，直接把内存拉满，自然触发超时。
2. 嵌套的Task.Run完全多余，EF Core的异步方法本身支持异步调用，额外包一层只会浪费线程资源。
3. 在内存中执行OrderByDescending排序，数据量大时开销极高，应该让数据库来完成这个操作。

具体优化步骤 #

1. 用IQueryable投影+数据库排序，避免全量加载 #

直接通过EF的Select做投影，把Publisher的-替换逻辑推给数据库（EF Core会自动把Replace转成SQL的REPLACE函数），同时让数据库完成排序，这样只会把最终需要的少量数据加载到内存，而非全表数据。

修改EventsManagementService代码：

public EventsManagementService(ApplicationDbContext applicationDbContext)
{
    _applicationDbContext = applicationDbContext;
}

public async Task<List<LogStore>> GetEvents(CancellationToken token)
{
    return await _applicationDbContext.LogStore
        .Select(log => new LogStore
        {
            Id = log.Id,
            Keywords = log.Keywords,
            EventId = log.EventId,
            Publisher = log.Publisher != null ? EF.Functions.Replace(log.Publisher, "-", " ") : null,
            TimeStamp = log.TimeStamp,
            Description = log.Description,
            ContainerLog = log.ContainerLog,
            TaskCategory = log.TaskCategory,
            Level = log.Level
        })
        .OrderByDescending(log => log.TimeStamp) // 数据库层面排序，比内存排序效率高得多
        .ToListAsync(token);
}

2. 移除多余的Task.Run嵌套 #

控制器里的Task.Run纯属鸡肋，直接调用服务的异步方法即可，统一使用请求的取消令牌：

修改EventsController代码：

[HttpGet("GetEvents")]
public async Task<ActionResult<List<LogStore>>> GetEvents(CancellationToken token)
{
    var events = await _eventsManagementService.GetEvents(token);
    return Ok(new { data = events });
}

3. 可选：分页查询（进一步降低内存压力） #

如果前端能接受分页，建议添加分页逻辑，彻底解决大数据量的内存问题：

服务层修改（增加分页参数）：

public async Task<List<LogStore>> GetEvents(int pageIndex, int pageSize, CancellationToken token)
{
    return await _applicationDbContext.LogStore
        .Select(log => new LogStore
        {
            // 同上面的投影逻辑
        })
        .OrderByDescending(log => log.TimeStamp)
        .Skip(pageIndex * pageSize)
        .Take(pageSize)
        .ToListAsync(token);
}

控制器对应修改：

[HttpGet("GetEvents")]
public async Task<ActionResult<List<LogStore>>> GetEvents([FromQuery] int pageIndex = 0, [FromQuery] int pageSize = 100, CancellationToken token)
{
    var events = await _eventsManagementService.GetEvents(pageIndex, pageSize, token);
    var totalCount = await _applicationDbContext.LogStore.CountAsync(token);
    return Ok(new { data = events, totalCount });
}

4. 关于多线程：别用，没用还容易出问题 #

EF Core的DbContext不是线程安全的，多线程操作反而会引发异常。而且数据库本身会处理并发请求，你当前的问题根本不是单线程导致的，优化上面几点就足够解决问题。

优化后效果 #

• 内存占用会大幅降低，不会再接近16GB；
• 查询和响应速度会和SSMS中差不多，不会超时；
• 异步流程更顺畅，没有多余的线程开销。

内容的提问来源于stack exchange，提问作者muttBunch