如何在C#（.NET 6）中通过Entity Framework Core高效更新海量数据

你的原代码存在两个核心性能瓶颈：一次性加载200万条数据到内存导致内存占用过高，以及UpdateRange+SaveChanges会为每条数据生成单独的UPDATE语句，数据库执行效率极低。以下是针对性的优化方案：

1. 直接执行SQL语句（性能最优） #

如果_myService.GetNewValue(x.field)的逻辑可以用SQL表达式实现，直接在数据库端执行更新操作，完全避免加载数据到应用内存。

示例代码：

// 假设GetNewValue是将field转为大写，可直接用SQL的UPPER函数实现
await _context.Database.ExecuteSqlRawAsync(@"
    UPDATE MyObjects 
    SET field = UPPER(field) 
    WHERE field != ''
");

这种方式直接在数据库层面完成更新，性能是所有方案中最高的，没有应用端的内存和序列化开销。

2. 使用EF Core批量操作库（平衡灵活性与性能） #

如果GetNewValue的逻辑必须在应用端处理，推荐使用第三方批量操作库（如EFCore.BulkExtensions），它能生成高效的批量SQL语句，同时支持分批次处理减少内存压力。

步骤： #

1. 安装NuGet包：Install-Package EFCore.BulkExtensions
2. 分批次加载、处理并批量更新：

示例代码：

var batchSize = 1000; // 可根据服务器内存调整批次大小
var totalCount = await _context.Set<MyObject>().CountAsync(x => x.field != string.Empty);
var totalBatches = (int)Math.Ceiling((double)totalCount / batchSize);

for (int batchIndex = 0; batchIndex < totalBatches; batchIndex++)
{
    var batchData = await _context.Set<MyObject>()
        .Where(x => x.field != string.Empty)
        .Skip(batchIndex * batchSize)
        .Take(batchSize)
        .ToListAsync();

    // 应用端处理逻辑
    batchData.ForEach(x => x.field = _myService.GetNewValue(x.field));

    // 批量更新
    await _context.BulkUpdateAsync(batchData);
}

BulkUpdateAsync会生成批量的UPDATE语句，比原生EF的UpdateRange效率提升数倍，同时分批次处理避免内存溢出。

3. 原生EF分批次更新（无第三方依赖） #

如果不想引入第三方库，可通过分批次加载+关闭实体追踪+清空追踪器的方式优化：

示例代码：

var batchSize = 1000;
var totalCount = await _context.Set<MyObject>().CountAsync(x => x.field != string.Empty);
var totalBatches = (int)Math.Ceiling((double)totalCount / batchSize);

for (int batchIndex = 0; batchIndex < totalBatches; batchIndex++)
{
    // 关闭实体追踪，减少内存消耗
    var batchData = await _context.Set<MyObject>()
        .AsNoTracking()
        .Where(x => x.field != string.Empty)
        .Skip(batchIndex * batchSize)
        .Take(batchSize)
        .ToListAsync();

    // 应用端处理逻辑
    batchData.ForEach(x => x.field = _myService.GetNewValue(x.field));

    _context.Set<MyObject>().UpdateRange(batchData);
    await _context.SaveChangesAsync();
    
    // 清空追踪器，避免上下文积累过多实体导致内存增长
    _context.ChangeTracker.Clear();
}

这种方式通过分批次降低内存占用，同时清空追踪器减少EF的内部开销，比一次性处理性能提升明显，但效率仍不如前两种方案。

内容的提问来源于stack exchange，提问作者L.Cam