如何解决Django CSV数据导出时的N+1查询性能问题

问题根因 #

你使用prefetch_related的方式没有问题，核心性能瓶颈出在obj.statuses.filter(status=status_number).first()这行代码：
prefetch_related确实已经把所有关联的StatusModel实例预加载到内存了，但只要你对预取的结果调用filter、first这类QuerySet方法，Django会直接忽略本地缓存，发起新的数据库查询，等于你还是产生了 N*5次额外查询（N是导出的实例数量，每个实例要查5个状态），数据量一大自然会触发超时。
另外注意你的StatusModel里存储状态的字段叫number，不是status，原来的代码里过滤条件写错了，实际运行会报错。

优化方案 #

1. 内存预处理状态，完全消除额外查询 #

把每个实例关联的所有状态提前转成字典，直接从字典读取对应状态的时间，全程不再操作数据库，性能可以提升10倍以上。

2. 启用查询集迭代器，降低内存占用 #

数据量过万时，全量加载实例到内存会导致内存占用过高，用iterator()分批加载实例，大幅降低内存峰值。

3. 搭配流式响应避免502超时（Web导出场景可选） #

如果是通过Web接口导出，用Django的StreamingHttpResponse边生成CSV边返回，不用等全量数据处理完再响应，从根源避免网关超时。

优化后代码 #

核心导出逻辑 #

# export_as_csv.py
def export_as_csv(writer, queryset):
    # 写CSV表头
    writer.writerow(['id', 'name'] + [f'{number} - {name}' for (number, name) in StatusModel.STATUS_CHOICES])
    # 预取关联状态 + 分批加载实例，减少内存占用
    for obj in queryset.prefetch_related('statuses').iterator():
        fields = [obj.id, obj.name]
        # 预处理状态字典：key是状态编号，value是最早的创建时间（对应你原来first()的逻辑）
        status_map = {}
        for status in obj.statuses.all():
            if status.number not in status_map:
                status_map[status.number] = status.created
        # 直接从字典读取，无额外查询
        for (status_number, _) in StatusModel.STATUS_CHOICES:
            fields.append(status_map.get(status_number, ''))
        writer.writerow(fields)

Web场景流式导出示例 #

from django.http import StreamingHttpResponse
import csv

def export_csv_view(request):
    # 定义CSV生成器，逐行返回内容
    def csv_generator():
        class EchoBuffer:
            def write(self, value):
                return value
        writer = csv.writer(EchoBuffer())
        queryset = MyExportModel.objects.all() # 按需替换为你的查询条件
        for row in export_as_csv(writer, queryset):
            yield row
    
    response = StreamingHttpResponse(csv_generator(), content_type='text/csv')
    response['Content-Disposition'] = 'attachment; filename="export_data.csv"'
    return response

补充说明 #

如果同一个实例下同一个状态编号存在多条记录，你需要取最新的创建时间而非最早的，预处理字典时直接赋值覆盖即可，不用判断是否存在：

status_map[status.number] = status.created

就等价于原来order_by('-created').first()的逻辑。

内容的提问来源于stack exchange，提问作者finngu