如何使用ASP.NET Core将500万条SQL表记录导出到Excel工作簿？

一、适合低内存场景的开源Excel库 #

针对ASP.NET Core环境，以下开源库更适合处理500万行级别的大数据导出，内存控制更友好：

• NPOI：基于Apache POI的.NET实现，提供SXSSFWorkbook（流式XSSF工作簿），会将超出内存阈值的行写入临时文件，避免全量加载数据到内存。完美适配分页读取+逐行写入的模式，能有效避免内存溢出。
• ExcelDataReader + ExcelDataWriter：这组工具搭配使用，ExcelDataWriter支持流式生成Excel文件。配合你的分页SQL逻辑，每次读取一页数据就直接写入流，无需缓存全部数据集，内存占用极低。
• EPPlus（优化配置后）：你之前使用的EPPlus其实支持流式写入，只是可能未开启相关配置。通过设置LoadFromCollection的流式参数，或者使用逐行写入的API，可以大幅降低内存占用。

二、核心内存优化技巧 #

1. 坚持分页读取+流式写入：每次仅加载单页数据（如1万-10万行）到内存，写入Excel后立即释放该页数据，绝对不要缓存500万行全量数据。
2. 使用流式工作簿实现：比如NPOI的SXSSFWorkbook，可设置内存中保留的最大行数，超出部分自动刷入临时文件，内存占用可控制在MB级。
3. 精简Excel特性：关闭不必要的单元格样式、公式、条件格式等，减少格式处理带来的内存开销；仅保留必要的表头和数据内容。
4. 避免冗余数据结构：直接使用IDataReader读取SQL数据，跳过DataTable这类高内存开销的中间结构，直接映射到Excel单元格。

三、NPOI流式写入示例代码 #

using NPOI.XSSF.SXSSF;
using NPOI.SS.UserModel;

// 初始化流式工作簿，设置内存中保留1000行，超出写入临时文件
var workbook = new SXSSFWorkbook(1000);
int currentRowCount = 0;
ISheet currentSheet = workbook.CreateSheet("数据页1");

// 分页读取SQL数据的循环
int pageNum = 1;
int pageSize = 10000;
while (true)
{
    // 调用你的分页存储过程获取数据
    var pageData = FetchDataFromSql(pageNum, pageSize);
    if (pageData == null || pageData.Count == 0) break;

    foreach (var record in pageData)
    {
        // 达到单工作表100万行上限，新建工作表
        if (currentRowCount >= 1000000)
        {
            currentRowCount = 0;
            currentSheet = workbook.CreateSheet($"数据页{workbook.NumberOfSheets + 1}");
        }

        // 创建行并写入单元格数据
        var row = currentSheet.CreateRow(currentRowCount++);
        row.CreateCell(0).SetCellValue(record.Column1);
        row.CreateCell(1).SetCellValue(record.Column2);
        // 依次处理剩余33列...
    }

    pageNum++;
    // 主动触发垃圾回收，释放当前页数据内存
    GC.Collect();
}

// 写入输出流（可直接输出到HTTP响应或本地文件）
using (var outputStream = new FileStream("大数据导出.xlsx", FileMode.Create))
{
    workbook.Write(outputStream);
}

// 清理SXSSF的临时文件
((SXSSFWorkbook)workbook).Dispose();

内容的提问来源于stack exchange，提问作者Meghna Verma