.Net Core异步保存KPI数据遇Parallel.ForEach错误求替代方案

错误根源 #

DbContext并非线程安全实例，Parallel.ForEach多线程环境下，若访问被上下文跟踪的实体（比如从数据库查询后未脱离跟踪的Criteria、User对象），可能触发上下文的隐式操作（如状态跟踪、延迟加载），多个线程同时操作上下文就会引发该错误。此外，原代码的性能瓶颈并非foreach循环本身，而是重复判断KPI是否存在的逻辑效率过低（每次Any都遍历整个集合），以及前期数据加载未做优化。

推荐替代方案：优化内存查询逻辑，放弃Parallel.ForEach #

通过优化数据加载和查询逻辑，普通foreach的性能足以满足需求，同时避免线程安全问题。

修改后的完整代码 #

[HttpPost]
[ValidateAntiForgeryToken]
public async Task<IActionResult> Create([Bind("Date,Name,Value,ID,CriteriaID,Employee")] List<KPI> KPI, List<string> employeeGIDs)
{
    if (KPI.Count == 0)
        return Create();

    int managerID = HttpContext.Session.GetInt32("ID").Value;

    // 1. 仅查询需要的Criteria，转字典通过ID快速查找
    var criteriaIds = KPI.Select(k => k.CriteriaID).Distinct().ToList();
    var criterias = await _context.Criterias
        .Where(x => criteriaIds.Contains(x.ID))
        .ToDictionaryAsync(x => x.ID);

    // 2. 批量查询目标用户，转字典通过GID快速查找
    var users = await _context.Users
        .Where(x => employeeGIDs.Contains(x.GID))
        .ToDictionaryAsync(x => x.GID);

    // 3. 将已有KPI的唯一标识存入哈希集合，O(1)判断重复
    var existingKPIKeys = await _context.KPIs
        .Where(x => x.ManagersId == managerID)
        .Select(x => $"{x.Date.Month}|{x.EmployeeUserCode}|{x.Criteria.Name}")
        .ToHashSetAsync();

    List<KPI> kpisToAdd = new List<KPI>(KPI);

    if (ModelState.IsValid)
    {
        foreach (var kpi in kpisToAdd)
        {
            kpi.ManagersId = managerID;
            criterias.TryGetValue(kpi.CriteriaID, out var criteria);
            kpi.Criteria = criteria;

            // 注：原代码此处逻辑可能存在问题（固定取第一个匹配用户），需根据实际业务调整
            var user = users.Values.FirstOrDefault(x => employeeGIDs.Contains(x.GID));

            if (criteria?.IsIndividual == true && user != null)
            {
                kpi.EmployeeUserCode = user.UserCode;
                kpi.EmployeeFullName = user.FullName;
            }
        }

        // 快速过滤重复KPI
        var criteriasToAdd = kpisToAdd
            .Where(x => x.Criteria != null)
            .Where(x => 
            {
                var key = $"{x.Date.Month}|{x.EmployeeUserCode}|{x.Criteria.Name}";
                return !existingKPIKeys.Contains(key);
            })
            .ToList();

        if (criteriasToAdd.Any())
        {
            _context.AddRange(criteriasToAdd);
            await _context.SaveChangesAsync();
        }
    }

    return Create();
}

优化说明 #

• 用ToDictionaryAsync将查询结果转为字典，把FirstOrDefault的O(n)查找操作降为O(1)
• 用ToHashSetAsync存储已有KPI的唯一组合键，重复判断操作从O(n)优化为O(1)
• 数据库查询仅加载必要数据，减少内存占用和查询耗时
• 移除Parallel.ForEach，彻底避免DbContext线程安全问题

备选方案：若必须并行处理（不推荐） #

如果确实需要并行，需确保并行操作完全不接触DbContext和被跟踪的实体：

1. 加载数据时使用AsNoTracking()脱离上下文跟踪
2. 并行操作仅处理内存对象，不涉及实体导航属性或上下文调用

关键代码片段 #

// 加载数据时脱离上下文跟踪
var criterias = await _context.Criterias
    .AsNoTracking()
    .Where(x => criteriaIds.Contains(x.ID))
    .ToDictionaryAsync(x => x.ID);

var users = await _context.Users
    .AsNoTracking()
    .Where(x => employeeGIDs.Contains(x.GID))
    .ToList();

// 并行处理仅操作内存对象
Parallel.ForEach(kpisToAdd, kpi => 
{
    kpi.ManagersId = managerID;
    criterias.TryGetValue(kpi.CriteriaID, out var criteria);
    kpi.Criteria = criteria;

    var user = users.FirstOrDefault(x => employeeGIDs.Contains(x.GID));

    if (criteria?.IsIndividual == true && user != null)
    {
        kpi.EmployeeUserCode = user.UserCode;
        kpi.EmployeeFullName = user.FullName;
    }
});

注意：并行操作需确保无共享变量修改冲突，且仅在数据量极大、普通循环确实无法满足性能需求时使用。

内容的提问来源于stack exchange，提问作者Saraphin34