Entity Framework分组后统计各列值+IQueryable分页优化求助

首先，我先假设你的实体类结构大概是这样的（方便后续代码参考）：

public class Application
{
    public int Id { get; set; }
    public int EthnicityId { get; set; }
    public ApplicationStatus Status { get; set; }
    // 其他业务字段...
}

public class Ethnicity
{
    public int Id { get; set; }
    public string Name { get; set; } // 对应你说的"选项"
    // 其他字段...
}

public enum ApplicationStatus
{
    Open,
    Closed,
    Draft,
    // 其他状态枚举值...
}

核心查询实现（保持IQueryable支持分页） #

下面的查询完全基于IQueryable，不会提前触发数据库查询，完美支持后续的Skip/Take分页操作：

// 建议定义DTO接收结果，比匿名类型更规范易维护
public class EthnicityStatsDto
{
    public int EthnicityId { get; set; }
    public string EthnicityName { get; set; }
    public int TotalCount { get; set; }
    public int OpenCount { get; set; }
    public int ClosedCount { get; set; }
    public int DraftCount { get; set; }
    // 按需添加其他状态统计项
}

// 构建基础查询：关联两张表，按Ethnicity的Id和Name分组，统计各维度数据
var statsQuery = from app in dbContext.Applications
                 join eth in dbContext.Ethnicities on app.EthnicityId equals eth.Id
                 group app by new { eth.Id, eth.Name } into ethnicGroup
                 select new EthnicityStatsDto
                 {
                     EthnicityId = ethnicGroup.Key.Id,
                     EthnicityName = ethnicGroup.Key.Name,
                     TotalCount = ethnicGroup.Count(),
                     OpenCount = ethnicGroup.Count(a => a.Status == ApplicationStatus.Open),
                     ClosedCount = ethnicGroup.Count(a => a.Status == ApplicationStatus.Closed),
                     DraftCount = ethnicGroup.Count(a => a.Status == ApplicationStatus.Draft)
                 };

// 分页操作：比如获取第3页，每页15条数据
int pageNumber = 3;
int pageSize = 15;
var paginatedResults = statsQuery
    .Skip((pageNumber - 1) * pageSize)
    .Take(pageSize)
    .ToList(); // 这里才会真正触发数据库查询

关键性能优化点 #

你的查询慢大概率是因为没有合适的索引、加载了不必要的数据，或者EF生成了低效的SQL。下面是针对性的优化措施：

1. 添加复合索引（最关键！） #

数据库层面的索引是提升聚合查询速度的核心。给Applications表创建包含EthnicityId和Status的复合索引：

CREATE NONCLUSTERED INDEX IX_Applications_EthnicityId_Status 
ON dbo.Applications (EthnicityId, Status)

这个索引能让数据库直接按Ethnicity分组并快速统计各状态的数量，避免全表扫描。另外确保Ethnicities表的Id是主键（通常默认已经设置），关联时会用到主键索引。

2. 投影前置，只加载需要的字段 #

如果Applications表有很多业务字段，不要加载整个实体，先投影出分组和统计需要的字段，减少数据传输量：

// 先投影出必要字段，再关联分组
var simplifiedApps = dbContext.Applications
    .Select(a => new { a.EthnicityId, a.Status });

var statsQuery = from app in simplifiedApps
                 join eth in dbContext.Ethnicities on app.EthnicityId equals eth.Id
                 group app by new { eth.Id, eth.Name } into ethnicGroup
                 select new EthnicityStatsDto
                 {
                     // 统计逻辑和之前一致
                 };

这样EF生成的SQL只会查询EthnicityId和Status两个字段，大幅降低数据库返回的数据量。

3. 提前过滤数据 #

如果你的业务允许（比如只统计近半年的申请），先过滤掉不需要的数据再分组，减少分组的数据集大小：

var filteredApps = dbContext.Applications
    .Where(a => a.CreatedDate >= DateTime.Now.AddMonths(-6)) // 示例过滤条件
    .Select(a => new { a.EthnicityId, a.Status });

// 后续关联分组逻辑不变

4. 检查EF生成的SQL #

用EF Core的ToQueryString()方法查看生成的SQL，确保没有冗余的子查询或笛卡尔积：

Console.WriteLine(statsQuery.ToQueryString());

如果生成的SQL看起来复杂低效，可以调整查询结构（比如用GroupJoin代替Join，不过当前场景下Join是合适的）。

5. 避免不必要的导航属性加载 #

不要用Include加载Application的Ethnicity导航属性，而是用显式Join控制关联的数据，避免加载额外的无关字段。

验证效果 #

优化后，你会发现数据库查询的执行时间大幅降低，而且因为全程用IQueryable，分页操作完全在数据库端完成，不会把全量数据加载到内存中。

内容的提问来源于stack exchange，提问作者Shashi