如何在Django中利用prefetch_related优化PDF关联查询以减少耗时？

问题分析 #

使用prefetch_related("pdf_page_images")后仍存在N+1查询，大概率是以下原因之一：

• 列表视图使用的PDFUploadRequestListSerializer未正确关联预取字段，或模型方法触发额外查询
• 模型中no_of_pages方法的count()调用会绕过预取逻辑，直接发起数据库查询
• prefetch_related的添加位置或方式存在问题

具体解决方案 #

1. 修正get_queryset中的预取逻辑 #

确保在过滤查询集后添加prefetch_related，修改视图集代码：

class PDFUploadRequestViewSet(viewsets.ModelViewSet):

    def get_queryset(self):
        project_id = self.request.META.get('HTTP_PROJECT_ID', None)
        queryset = PDFUploadRequest.objects.all()
        if project_id:
            queryset = queryset.filter(project_id=project_id)
        # 预取关联的pdf_page_images，避免N+1查询
        return queryset.prefetch_related("pdf_page_images")

    def get_serializer_class(self):
        if self.action == 'list':
            return PDFUploadRequestListSerializer
        else:
            return self.serializer_class

2. 优化模型的no_of_pages方法 #

当前count()会直接查询数据库，即使已预取关联对象。修改为从内存取数：

class PDFUploadRequest(models.Model, BaseStatusClass):
    # 其他字段保持不变

    def no_of_pages(self):
        # 用len()替代count()，利用预取到内存的对象
        return len(self.pdf_page_images.all())
    
    # 其他方法保持不变

注意：此优化必须配合prefetch_related使用，否则会将所有关联对象加载到内存，反而降低性能。

3. 检查List序列化器配置 #

确保PDFUploadRequestListSerializer正确适配预取逻辑：

• 如果需要序列化完整的pdf_page_images列表，参考PDFUploadRequestSerializer添加对应字段：

class PDFUploadRequestListSerializer(serializers.ModelSerializer):
    pdf_page_images = PDFPageImageSerializer(many=True, read_only=True)

    class Meta:
        model = PDFUploadRequest
        fields = ('id', 'file', 'file_name', 'status', 'pdf_page_images', 'owner', 'project')
        read_only_fields = ('file_name', 'owner', 'project')

• 如果只需要分页数量，添加no_of_pages字段：

class PDFUploadRequestListSerializer(serializers.ModelSerializer):
    no_of_pages = serializers.IntegerField(read_only=True)

    class Meta:
        model = PDFUploadRequest
        fields = ('id', 'file', 'file_name', 'status', 'no_of_pages', 'owner', 'project')
        read_only_fields = ('file_name', 'owner', 'project')

4. 验证优化效果 #

使用django-debug-toolbar查看查询次数，优化后应仅存在2条查询：

1. 查询符合条件的所有PDFUploadRequest
2. 批量查询所有关联的PDFPageImage
   不再出现每条PDFUploadRequest对应一条查询的情况。

内容的提问来源于stack exchange，提问作者Alex T