ASP.NET Core中如何提升EPPlus处理大Excel上传入库速度

你的现有实现存在多处明显的性能浪费，3MB以上文件处理耗时久是这些问题叠加导致的，可按以下优先级优化：

1. 移除冗余逻辑与重复文件IO操作 #

现有代码存在两处无意义的IO/逻辑冗余：

• 方法参数已经绑定了IFormFile file实例，不需要再通过var files = HttpContext.Request.Form.Files重复从请求表单读取文件集合，直接使用参数file即可。
• 代码先把上传文件同步写入本地Upload目录，又重新将IFormFile拷贝到内存流做解析，同一份文件重复读取2次，平白多了一倍磁盘/内存IO开销。如果没有留存原文件的强需求，直接删掉落本地磁盘的逻辑；如果必须留存原文件，解析时直接用已经写入磁盘的文件流加载Excel，不要二次读取请求流。

可直接删除的冗余代码段：

var files = HttpContext.Request.Form.Files;
var extension = Path.GetExtension(files[0].FileName);

using (var filesStream = new FileStream(Path.Combine(uploads, file.FileName), FileMode.Create))
{ 
    files[0].CopyTo(filesStream);
}

2. 修正EF Core入库逻辑，降低数据库交互开销 #

现有代码的数据库操作存在严重性能问题：

• 存在拼写错误：AddAsyncy、SaveChangesAsyncy是错误的方法名，正确方法为AddAsync、SaveChangesAsync，且所有异步方法必须加await关键字，否则会出现线程阻塞、异常无法捕获的问题。
• 逐行调用AddAsync会反复触发EF Core变更跟踪逻辑，产生不必要的性能开销，且默认EF Core会生成逐行插入的SQL语句，上千行数据就会产生上千次数据库交互，网络IO成本极高。

可按以下规则优化：

• 用AddRangeAsync替代逐行AddAsync，减少变更跟踪的遍历开销。
• 单批次数据量超过1000行时采用分批提交策略，每1000~5000行调用一次SaveChangesAsync，提交后调用_db.ChangeTracker.Clear()释放跟踪缓存，避免单次提交报文过大、数据库锁表时间过长。
• 单文件数据量超过1万行时，换用数据库专属批量导入能力（如SQL Server用SqlBulkCopy、MySQL用MySqlBulkCopy），插入性能比原生EF Core高10~100倍。

优化后的EF操作示例：

const int batchSize = 2000;
for (int i = 0; i < list.Count; i += batchSize)
{
    var batch = list.Skip(i).Take(batchSize).ToList();
    await _db.User.AddRangeAsync(batch);
    await _db.SaveChangesAsync();
    _db.ChangeTracker.Clear();
}

3. 优化Excel解析逻辑，降低内存与遍历开销 #

现有Excel解析逻辑没有利用EPPlus的批量读取能力，逐格读取单元格值的COM交互开销很高，且全量加载到内存流的方式会给GC造成极大压力：

• 不需要把整个文件全量拷贝到MemoryStream后再加载Excel包，如果留存本地文件就直接用本地文件流初始化ExcelPackage，减少内存占用。
• 不要逐格调用Cells[row, col]读取值，一次性把所有单元格值加载到二维数组再遍历，比逐格读取的开销低数倍。
• 初始化List<User>时提前指定容量为总行数，避免List动态扩容产生的内存拷贝开销。
• 解析前判断worksheet.Dimension是否为空，避免空工作表抛出空引用异常。

Excel解析优化示例：

// 若留存本地文件，直接用文件流加载，无需MemoryStream缓存全量文件
using (var stream = file.OpenReadStream())
using (var package = new ExcelPackage(stream))
{
    ExcelWorksheet worksheet = package.Workbook.Worksheets[0];
    if (worksheet.Dimension == null) return BadRequest("Excel文件无有效数据");
    var rowCount = worksheet.Dimension.Rows;
    // 一次性读取所有单元格值到二维数组
    object[,] cellValues = (object[,])worksheet.Cells.Value;
    
    // 提前指定List容量，避免多次扩容
    var list = new List<User>(rowCount - 1);
    for (int row = 2; row <= rowCount; row++)
    {
        list.Add(new User
        {
            Name = cellValues[row, 1]?.ToString().Trim(),
            Address1 = cellValues[row, 2]?.ToString().Trim(),
            PostCode = cellValues[row, 3]?.ToString().Trim(),
            Mobile = cellValues[row, 4]?.ToString().Trim(),
        });
    }
}

4. 修正同步异步混用问题 #

现有代码中文件写入用同步方法CopyTo，异步方法混用同步阻塞会占用额外线程池资源，大文件场景下会导致请求排队。所有IO操作统一使用异步方法：

• 同步CopyTo替换为await CopyToAsync
• 所有文件、数据库异步操作必须加await，禁止用Wait()、Result等阻塞方法。

5. 进阶优化方案 #

• 超过10MB的文件不要用同步接口等待处理完成，改用后台任务队列：上传接口只负责校验文件格式、存储临时文件后立刻返回，后台队列异步完成解析入库，前端通过轮询或SignalR通知用户处理结果，避免请求超时。
• 大文件场景可替换EPPlus为流式解析库如MiniExcel，内存占用比EPPlus低70%以上，解析速度快2~3倍，无需将全量文件加载到内存即可完成读取。
• 提前在服务配置中放开上传大小限制，避免默认请求体限制拦截大文件：

// Program.cs中添加配置
builder.Services.Configure<FormOptions>(options =>
{
    options.MultipartBodyLengthLimit = 100 * 1024 * 1024; // 允许最大100MB文件上传
});

内容的提问来源于stack exchange，提问作者Jeff