Django REST Framework使用openpyxl导出Excel过慢的优化方案咨询
完全可以通过针对性优化把2万行Excel的导出耗时从8分钟压缩到数秒级别,原逻辑的性能瓶颈主要来自几个非常典型的错误写法:
核心性能问题定位
- 结构级错误:原代码把工作簿初始化、数据查询、写入逻辑全部写在了类属性层级,而非请求处理方法(
get/post)内部。这会导致视图类加载时就只初始化一次全局共享的Workbook对象,所有请求都会复用同一个工作簿,每次请求都会往已经累积了多轮数据的工作簿里追加2万行,越攒行数越多、生成耗时越长,甚至会出现不同用户导出的文件互相混杂数据的严重bug。 - ORM层的查询开销:直接调用
Report.objects.all()拉取全表所有字段,如果模型存在外键关联,循环中读取关联字段时会触发典型的N+1查询问题——2万行数据会额外发起上万次单条查询,这部分耗时往往能占到总耗时的60%以上。同时全量加载所有字段到内存的方式,也会带来不必要的内存开销。 - openpyxl的使用方式错误:没有启用专门为大导出设计的流式写入模式,反而用默认的普通工作簿模式逐单元格写入。每次通过
ws['A{}'.format(row_counter)]单独写一个单元格时,openpyxl都要额外做坐标解析、行结构重算、内存对象维护的开销,2万行哪怕只有3列,就是6万次独立的单元格写入操作,性能极差。 - 顺带修正原代码的拼写问题:原代码中
row_couter为拼写错误,正确应为row_counter,在调整了代码结构后该问题会自然解决。
具体优化方案
1. 修正视图结构
所有请求相关的初始化、查询、写入逻辑全部放到请求处理方法内部,每个请求单独创建独立的工作簿、独立的查询集,从根源上避免全局共享带来的累积问题。
2. ORM层做查询裁剪
- 用
only()方法只取导出需要用到的字段,避免拉取无用的大字段(比如大文本、二进制字段); - 如果导出字段涉及关联外键,用
select_related()做连表查询,彻底消除循环中的N+1查询; - 对大结果集用
.iterator(chunk_size=1000)分批从数据库读取,不要一次性把所有数据加载到内存。
3. 启用openpyxl的只写流式模式
- 初始化工作簿时加
write_only=True参数,这个模式专为批量导出设计,不会把所有单元格数据常驻内存,写完一行就可以临时丢弃,内存占用和写入速度都比普通模式高一个量级; - 抛弃逐单元格写入的方式,改用
ws.append(单行数据列表)一次写入一整行,不需要手动维护行号,也不需要重复做坐标解析的开销。
4. 减少不必要的格式开销
如果不需要特殊单元格样式、公式,就不要给数据行设置额外格式,默认格式的序列化速度是最快的;如果需要设置表头格式,只给第一行设置一次即可,不要给所有数据行重复套样式。
优化后的参考代码
import io from openpyxl import Workbook from django.http import HttpResponse from rest_framework.views import APIView class GenerateExcelView(APIView): filename = 'AllHours.xlsx' def get(self, request): # ORM层优化:只取需要的字段,连表关联消除N+1,分批迭代 queryset = Report.objects.only( "employee_id", "employee_name", "description", "其他导出列的字段名" ).select_related("employee") # 如果employee_id是外键关联的话保留,非外键可删除 # 每批1000行从数据库读取,降低内存占用 data_iterator = queryset.iterator(chunk_size=1000) # 启用openpyxl只写流式模式,为大导出优化 wb = Workbook(write_only=True) ws = wb.create_sheet(title="Workbook") # 写入表头(可根据实际列名调整) ws.append(["员工ID", "员工姓名", "工作描述", "其他列名"]) # 逐行批量写入,无需手动维护行号 for line in data_iterator: row_content = [ line.employee_id, line.employee_name, line.description, # 其他字段映射逻辑 ] ws.append(row_content) # 生成文件响应 bio = io.BytesIO() wb.save(bio) bio.seek(0) response = HttpResponse( bio.getvalue(), content_type='application/vnd.openxmlformats-officedocument.spreadsheetml.sheet' ) response["Content-Disposition"] = f'attachment; filename="{self.filename}"' return response
预期效果与补充说明
- 按照以上方案优化后,2万行3-4列的Excel文件,生成耗时通常在1-3秒区间,完全可以满足接口响应的时效要求。
- 之前常用的
save_virtual_workbook是老版本openpyxl的兼容函数,新版本直接用BytesIO做内存序列化的效率更高。 - 如果后续导出行数超过10万级,可切换到写入速度更快的xlsxwriter库,但当前2万行的量级,优化后的openpyxl完全能满足需求,不需要引入额外依赖。
内容的提问来源于stack exchange,提问作者pipikej
相关产品推荐
相关产品推荐

