You need to enable JavaScript to run this app. Django REST Framework使用openpyxl导出Excel过慢的优化方案咨询
优惠活动
大模型
产品
解决方案
定价
更多

Django REST Framework使用openpyxl导出Excel过慢的优化方案咨询

完全可以通过针对性优化把2万行Excel的导出耗时从8分钟压缩到数秒级别,原逻辑的性能瓶颈主要来自几个非常典型的错误写法:

核心性能问题定位

  • 结构级错误:原代码把工作簿初始化、数据查询、写入逻辑全部写在了类属性层级,而非请求处理方法(get/post)内部。这会导致视图类加载时就只初始化一次全局共享的Workbook对象,所有请求都会复用同一个工作簿,每次请求都会往已经累积了多轮数据的工作簿里追加2万行,越攒行数越多、生成耗时越长,甚至会出现不同用户导出的文件互相混杂数据的严重bug。
  • ORM层的查询开销:直接调用Report.objects.all()拉取全表所有字段,如果模型存在外键关联,循环中读取关联字段时会触发典型的N+1查询问题——2万行数据会额外发起上万次单条查询,这部分耗时往往能占到总耗时的60%以上。同时全量加载所有字段到内存的方式,也会带来不必要的内存开销。
  • openpyxl的使用方式错误:没有启用专门为大导出设计的流式写入模式,反而用默认的普通工作簿模式逐单元格写入。每次通过ws['A{}'.format(row_counter)]单独写一个单元格时,openpyxl都要额外做坐标解析、行结构重算、内存对象维护的开销,2万行哪怕只有3列,就是6万次独立的单元格写入操作,性能极差。
  • 顺带修正原代码的拼写问题:原代码中row_couter为拼写错误,正确应为row_counter,在调整了代码结构后该问题会自然解决。

具体优化方案

1. 修正视图结构

所有请求相关的初始化、查询、写入逻辑全部放到请求处理方法内部,每个请求单独创建独立的工作簿、独立的查询集,从根源上避免全局共享带来的累积问题。

2. ORM层做查询裁剪

  • 用only()方法只取导出需要用到的字段,避免拉取无用的大字段(比如大文本、二进制字段);
  • 如果导出字段涉及关联外键,用select_related()做连表查询,彻底消除循环中的N+1查询;
  • 对大结果集用.iterator(chunk_size=1000)分批从数据库读取,不要一次性把所有数据加载到内存。

3. 启用openpyxl的只写流式模式

  • 初始化工作簿时加write_only=True参数,这个模式专为批量导出设计,不会把所有单元格数据常驻内存,写完一行就可以临时丢弃,内存占用和写入速度都比普通模式高一个量级;
  • 抛弃逐单元格写入的方式,改用ws.append(单行数据列表)一次写入一整行,不需要手动维护行号,也不需要重复做坐标解析的开销。

4. 减少不必要的格式开销

如果不需要特殊单元格样式、公式,就不要给数据行设置额外格式,默认格式的序列化速度是最快的;如果需要设置表头格式,只给第一行设置一次即可,不要给所有数据行重复套样式。

优化后的参考代码

import io
from openpyxl import Workbook
from django.http import HttpResponse
from rest_framework.views import APIView

class GenerateExcelView(APIView):
    filename = 'AllHours.xlsx'

    def get(self, request):
        # ORM层优化:只取需要的字段,连表关联消除N+1,分批迭代
        queryset = Report.objects.only(
            "employee_id", "employee_name", "description", "其他导出列的字段名"
        ).select_related("employee")  # 如果employee_id是外键关联的话保留,非外键可删除
        # 每批1000行从数据库读取,降低内存占用
        data_iterator = queryset.iterator(chunk_size=1000)

        # 启用openpyxl只写流式模式,为大导出优化
        wb = Workbook(write_only=True)
        ws = wb.create_sheet(title="Workbook")

        # 写入表头(可根据实际列名调整)
        ws.append(["员工ID", "员工姓名", "工作描述", "其他列名"])

        # 逐行批量写入,无需手动维护行号
        for line in data_iterator:
            row_content = [
                line.employee_id,
                line.employee_name,
                line.description,
                # 其他字段映射逻辑
            ]
            ws.append(row_content)

        # 生成文件响应
        bio = io.BytesIO()
        wb.save(bio)
        bio.seek(0)
        response = HttpResponse(
            bio.getvalue(),
            content_type='application/vnd.openxmlformats-officedocument.spreadsheetml.sheet'
        )
        response["Content-Disposition"] = f'attachment; filename="{self.filename}"'
        return response

预期效果与补充说明

  • 按照以上方案优化后,2万行3-4列的Excel文件,生成耗时通常在1-3秒区间,完全可以满足接口响应的时效要求。
  • 之前常用的save_virtual_workbook是老版本openpyxl的兼容函数,新版本直接用BytesIO做内存序列化的效率更高。
  • 如果后续导出行数超过10万级,可切换到写入速度更快的xlsxwriter库,但当前2万行的量级,优化后的openpyxl完全能满足需求,不需要引入额外依赖。

内容的提问来源于stack exchange,提问作者pipikej

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.30 16:15:03