从存储过程取数据到DataTable时内存占用过高的优化咨询

核心问题分析 #

你现在的“批量读取”根本没起作用——调用SqlExecuteDT时没把分页参数传给存储过程，所以每次调用还是会把全量数百万行数据加载到DataTable里，内存自然降不下来。另外，就算真实现了分页，DataTable本身的元数据开销（300列的情况下每一行都有额外内存消耗）也会让内存占用居高不下。

具体优化方案 #

1. 实现真正的存储过程分页 #

先修改你的存储过程，添加@StartRow和@EndRow参数，只返回指定范围的数据（SQL Server 2012+可以用OFFSET/FETCH，低版本用ROW_NUMBER()实现）。

然后修改批量调用代码，传递分页参数：

var parameters = new Dictionary<string, object>();
int batchSize = 10000;
int currentStart = 1;

while (true)
{
    parameters["@StartRow"] = currentStart;
    parameters["@EndRow"] = currentStart + batchSize - 1;
    
    using (var dt = _dataService.SqlExecuteDT("你的存储过程名", parameters))
    {
        if (dt.Rows.Count == 0)
            break;
        
        // 处理当前批次数据并写入Excel
        ProcessAndWriteToExcel(dt);
        
        currentStart += batchSize;
        // 按需触发垃圾回收，缓解内存压力
        GC.Collect();
        GC.WaitForPendingFinalizers();
    }
}

2. 跳过DataTable，直接用SqlDataReader逐行处理 #

DataTable会额外占用大量内存，直接用SqlDataReader逐行读取、加工、写入Excel，完全不需要缓存整批数据：

先修改数据访问方法，返回SqlDataReader：

public static SqlDataReader SqlExecuteReader(string spname, Dictionary<string, object> parameters, DBName dBName = DBName.DBCONN)
{
    var conn = new SqlConnection(DBConnection.GetConnectionString(dBName));
    var cmd = new SqlCommand(spname, conn);
    cmd.CommandTimeout = Timeout;
    cmd.CommandType = CommandType.StoredProcedure;

    if (parameters != null)
    {
        foreach (var kvp in parameters)
            cmd.Parameters.AddWithValue(kvp.Key, kvp.Value ?? DBNull.Value);
    }

    conn.Open();
    // 确保reader关闭时自动关闭连接
    return cmd.ExecuteReader(CommandBehavior.CloseConnection | CommandBehavior.SequentialAccess);
}

然后调用时逐行处理并写入Excel：

var parameters = new Dictionary<string, object>();
// 分页的话记得传递@StartRow和@EndRow参数
using (var reader = _dataService.SqlExecuteReader("你的存储过程名", parameters))
{
    // 用EPPlus初始化Excel写入器
    using (var package = new ExcelPackage())
    {
        var worksheet = package.Workbook.Worksheets.Add("数据");
        int rowIndex = 1;
        
        // 写入表头
        for (int i = 0; i < reader.FieldCount; i++)
        {
            worksheet.Cells[rowIndex, i+1].Value = reader.GetName(i);
        }
        rowIndex++;
        
        // 逐行读取、加工、写入
        while (reader.Read())
        {
            var processedRow = ProcessRow(reader);
            
            for (int i = 0; i < processedRow.Length; i++)
            {
                worksheet.Cells[rowIndex, i+1].Value = processedRow[i];
            }
            rowIndex++;
            
            // 每写1万行保存一次，避免内存累积
            if (rowIndex % 10000 == 0)
            {
                package.Save();
            }
        }
        
        package.SaveAs(new FileInfo(@"C:\导出文件.xlsx"));
    }
}

// 自定义数据加工方法
object[] ProcessRow(SqlDataReader reader)
{
    var row = new object[reader.FieldCount];
    for (int i = 0; i < reader.FieldCount; i++)
    {
        // 这里添加你的加工逻辑，比如类型转换、计算等
        row[i] = reader.IsDBNull(i) ? null : reader[i];
    }
    return row;
}

3. 选择高效的Excel导出库 #

别用Microsoft.Office.Interop.Excel（需要装Office，内存开销大），推荐：

• EPPlus：支持.NET Core/.NET Framework，逐行写入内存占用低（注意EPPlus 5+商业用途需授权，非商业免费）
• NPOI：完全免费开源，支持多种Excel格式，适合大数据量导出

4. 其他细节优化 #

• 砍掉不必要的列：如果300列里有不需要导出的字段，直接在存储过程中移除，减少数据传输和内存消耗
• 优化数据类型：把大文本类型（如nvarchar(max)）换成合适的长度，避免不必要的内存浪费
• 关闭连接和资源：确保所有IDisposable类型都用using包裹，及时释放资源

内容的提问来源于stack exchange，提问作者Rahul