优化Entity Framework结果处理中匹配属性的嵌套循环

问题背景 #

通过Entity Framework查询关联表得到List<ListObject>数据集，结构如下：

public class ListObject
{
    public Panel Panel { get; set; }
    public Code Code { get; set; }
}

public class Panel
{
    public string Id { get; set; }
    // 其他基础属性如Name等
}

public class Code
{
    public string Id { get; set; }
    public string Name { get; set; }
    // 其他基础属性
}

需求为每个Panel Id生成对应的去重Code名称逗号分隔字符串，但原处理代码在10万级数据量下性能极差：

foreach (var l in listObject)
{
  var codeString = string.Empty;

  if (l.Code != null)
  {
    listObject.Where(x => string.Equals(x.Code.Id, l.Panel.Id))
       .DistinctBy(x => x.Code.Name)
       .ForEach(x => codeString += $"{x.Code.Name},&")
  }

  // ... 添加到DataSet的逻辑
}

原代码每次循环都遍历全量数据，时间复杂度达O(n²)，导致大数量级下耗时过长。

优化方案 #

无需拆分两次数据库查询，通过内存预分组或数据库端分组查询两种方式优化，将时间复杂度降至O(n)。

方案1：内存预分组预处理 #

先遍历一次列表，提前构建Panel Id与去重Code名称的映射字典，后续循环直接从字典取值：

// 预处理：构建PanelId到去重Code名称集合的字典
var panelCodeMap = listObject
    .Where(item => item.Code != null)
    .GroupBy(item => item.Panel.Id)
    .ToDictionary(
        group => group.Key,
        group => group.Select(item => item.Code.Name).Distinct().ToList()
    );

// 遍历生成字符串并写入DataSet
foreach (var l in listObject)
{
    string codeString = string.Empty;
    if (panelCodeMap.TryGetValue(l.Panel.Id, out var codeNames))
    {
        // 用string.Join替代+=，避免频繁创建字符串对象
        codeString = string.Join(",", codeNames);
    }

    // ... 添加到DataSet的逻辑
}

方案2：数据库端分组查询（更优） #

直接在Entity Framework层面将分组逻辑推送到数据库执行，减少内存处理的数据量：

// 数据库端直接分组、去重
var panelCodeData = dbContext.ListObjects
    .Where(item => item.Code != null)
    .GroupBy(item => item.Panel.Id)
    .Select(group => new 
    {
        PanelId = group.Key,
        CodeNames = group.Select(item => item.Code.Name).Distinct()
    })
    .ToList();

// 转换为字典供后续使用
var panelCodeMap = panelCodeData.ToDictionary(x => x.PanelId, x => x.CodeNames.ToList());

// 遍历写入DataSet的逻辑同方案1
foreach (var l in listObject)
{
    string codeString = string.Empty;
    panelCodeMap.TryGetValue(l.Panel.Id, out var codeNames);
    if (codeNames != null)
    {
        codeString = string.Join(",", codeNames);
    }

    // ... 添加到DataSet的逻辑
}

关键优化点 #

• 避免string+=拼接：字符串为不可变类型，频繁拼接会产生大量临时对象，string.Join或StringBuilder能大幅提升拼接效率。
• 提前过滤无效数据：预处理时直接过滤Code为null的项，减少字典存储的冗余数据。
• 推逻辑到数据库：利用数据库的分组、去重能力，降低内存处理压力，尤其是超大数据量场景下优势更明显。

内容的提问来源于stack exchange，提问作者rjs52