如何用django-import-export导出大型数据集，解决504超时问题

紧急可用的快速解决思路 #

因为你暂时没法配置后台异步任务，先给几个能立刻落地的方案：

1. 临时升级EC2实例规格

t3.micro的CPU和内存都有限，8000条数据导出时资源扛不住。紧急情况下可以先把Elastic Beanstalk的实例升级到t3.small或t3.medium，导出完成后再降回t3.micro——AWS按需付费，短时间升级成本几乎可以忽略，这是最快绕过资源瓶颈的方法。

2. 优化django-import-export导出逻辑，手动分批加载数据

直接重写资源类的export方法，用分页分批查询数据，避免一次性把8000条数据全加载到内存里。这样内存占用会大幅降低，不会触发超时。

示例代码（以CSV导出为例）：

from django.core.paginator import Paginator
from import_export import resources
from your_app.models import YourTargetModel

class YourModelResource(resources.ModelResource):
    class Meta:
        model = YourTargetModel
        fields = ('id', 'customer_name', 'order_date', 'total_amount')  # 只保留客户需要的字段，删掉不必要的

    def export(self, queryset=None, *args, **kwargs):
        if queryset is None:
            queryset = self.get_queryset()
        
        # 每页1000条，可根据实例性能调整
        paginator = Paginator(queryset, 1000)
        # 初始化空数据集
        dataset = self.export_resource([])
        
        for page_num in paginator.page_range:
            page_objects = paginator.page(page_num).object_list
            page_dataset = self.export_resource(page_objects)
            
            # 合并分页数据，第一页保留表头，后续页面跳过表头
            if page_num > 1:
                dataset.csv += page_dataset.csv.split('\n', 1)[1]
            else:
                dataset.csv = page_dataset.csv
        
        return dataset

把这段代码替换你现有的资源类，然后在Admin里重新测试导出——不需要额外配置后台任务，直接就能用。

3. 延长Web服务器超时时间

Elastic Beanstalk默认的超时时间比较短，导出大数据时还没完成就被切断了。可以通过.ebextensions配置修改Nginx的超时设置：

在项目根目录创建.ebextensions/nginx_timeout.config文件，内容如下：

files:
  "/etc/nginx/conf.d/timeout.conf":
    mode: "000644"
    owner: root
    group: root
    content: |
      proxy_read_timeout 300s;
      proxy_connect_timeout 300s;

然后重新部署Elastic Beanstalk应用，这样服务器会等待5分钟再触发超时，给导出足够的处理时间。

长期建议（紧急问题解决后） #

等客户拿到文件后，还是建议配置Celery异步导出，把导出任务放到后台执行，避免占用Web服务器资源，也不会出现超时问题。

内容的提问来源于stack exchange，提问作者Hrushikesh Vaidya