.NET Core中如何高效下载大批量Excel数据？

核心思路 #

放弃一次性加载全量数据到内存的模式，改为分批从数据库拉取数据，同时逐批写入Excel流，最后通过流式响应直接返回给用户。全程避免内存溢出，同时让用户无需等待全量数据处理完成就能开始下载。

具体实现步骤 #

1. 高效分页查询数据 #

不用传统的OFFSET分页（数据量越大性能越差），改用基于主键/唯一有序字段的分页，比如WHERE id > last_id LIMIT batch_size，避免数据库全表扫描，提升查询效率。

2. 流式写入Excel #

选择支持流式写入的Excel库，比如Python的openpyxl（开启write_only模式）、Java的EasyExcel、Node.js的exceljs，这些库可以逐行/逐批写入数据，无需将整个Excel文件加载到内存。

3. 流式响应前端 #

后端将Excel的输出流直接绑定到HTTP响应流，边生成数据边返回给用户，浏览器会逐步接收并触发下载动作。

代码示例（Python + Flask + openpyxl + MySQL） #

from flask import Flask, Response
import openpyxl
from openpyxl.utils import get_column_letter
import mysql.connector
from io import BytesIO

app = Flask(__name__)

def get_db_conn():
    return mysql.connector.connect(
        host='localhost',
        user='db_user',
        password='db_pass',
        database='test_db'
    )

@app.route('/export-big-data')
def export_excel():
    # 初始化流式Excel工作簿
    output = BytesIO()
    wb = openpyxl.Workbook(write_only=True)
    ws = wb.create_sheet('DataSheet')
    
    # 写入表头
    headers = ['ID', '用户名', '邮箱', '注册时间']
    ws.append(headers)
    
    # 设置列宽优化显示
    for idx, _ in enumerate(headers, 1):
        ws.column_dimensions[get_column_letter(idx)].width = 20
    
    # 分批拉取数据
    batch_size = 1000
    last_id = 0
    conn = get_db_conn()
    cursor = conn.cursor(dictionary=True)
    
    while True:
        # 基于ID分页查询，避免OFFSET性能问题
        sql = "SELECT id, username, email, register_time FROM users WHERE id > %s ORDER BY id LIMIT %s"
        cursor.execute(sql, (last_id, batch_size))
        rows = cursor.fetchall()
        
        if not rows:
            break
        
        # 逐批写入Excel
        for row in rows:
            ws.append([row['id'], row['username'], row['email'], row['register_time']])
        
        # 更新最后一条数据的ID，用于下一轮查询
        last_id = rows[-1]['id']
        # 刷新输出流，释放内存
        output.seek(0, 2)
        wb.save(output)
        output.truncate()
    
    cursor.close()
    conn.close()
    
    # 准备响应
    output.seek(0)
    return Response(
        output,
        mimetype='application/vnd.openxmlformats-officedocument.spreadsheetml.sheet',
        headers={"Content-Disposition": "attachment; filename=big_data_export.xlsx"}
    )

if __name__ == '__main__':
    app.run(debug=True)

关键优化细节 #

• 主键分页逻辑：相比OFFSET分页，不会因为偏移量过大导致数据库扫描大量无用数据，百万级数据下性能提升明显。
• 写入式工作簿：openpyxl的write_only=True模式仅支持写入操作，内存占用仅为普通模式的1/10甚至更低。
• 流式响应：用户无需等待全量数据处理完成，浏览器收到部分数据就会触发下载，感知等待时间大幅缩短。
• 批量刷新缓冲区：每批数据写入后主动刷新输出流，避免内存中堆积过多未写入的数据。

额外建议 #

• 如果数据量超过千万级，可以考虑拆分多个Excel文件打包下载，或者改用CSV格式（生成速度更快，内存占用更低）。
• 若使用ORM框架（如MyBatis），同样可以实现基于主键的分页逻辑，避免框架自带的RowBounds带来的性能问题。
• 注意数据库连接超时问题，可在循环中定期重新获取连接，或者延长连接超时时间。

内容的提问来源于stack exchange，提问作者KLM