Django Rest Framework：嵌套序列化器性能优化求助——端点返回40条数据耗时17秒

根据你提供的代码和性能数据（单个多级任务的get_levels_config耗时0.25秒，40条数据累计17秒），这里有几个针对性的优化方向，能帮你大幅降低响应时间：

1. 彻底解决N+1数据库查询问题 #

你的序列化器里多次触发关联数据查询（比如obj.sub_levels.all()、get_sub_tasks里的查询），这是导致耗时累积的核心原因之一。可以通过预取关联数据来一次性拉取所有需要的内容：

• 在视图层获取GameTask列表时，使用prefetch_related结合Prefetch对象，提前拉取关联的TaskLevel及其关联的sub_tasks，同时提前排序避免序列化时再次排序：

  from django.db.models import Prefetch
  
  # 视图中的查询集定义
  queryset = GameTask.objects.all().prefetch_related(
      Prefetch(
          'sub_levels',
          queryset=TaskLevel.objects.order_by('number').prefetch_related('sub_tasks')
      )
  )
  

• 检查get_sub_tasks和get_progress内部的数据库查询，确保它们也使用了预取或批量查询，避免循环内单条查询。比如如果get_progress需要查询用户的任务完成记录，可提前用annotate或批量方式计算所有任务的进度，而不是逐个任务计算。

2. 优化SerializerMethodField的开销 #

SerializerMethodField会为每个对象执行一次方法，当数据量较大时开销显著：

• 尽量用ModelSerializer的原生字段替代SerializerMethodField：如果某些自定义字段可以通过数据库annotate提前计算，就把逻辑移到数据库层面，序列化时直接读取注解字段。
• 缓存序列化结果：对于重复序列化的对象（比如多个TaskLevel引用同一个GameTask），可以在序列化器中加入缓存逻辑，避免重复序列化相同对象。比如用一个字典缓存已序列化的GameTask实例：

  class TaskBaseSerializer(serializers.ModelSerializer):
      def __init__(self, *args, **kwargs):
          super().__init__(*args, **kwargs)
          self._serialized_cache = {}
  
      def to_representation(self, instance):
          if instance.id in self._serialized_cache:
              return self._serialized_cache[instance.id]
          data = super().to_representation(instance)
          self._serialized_cache[instance.id] = data
          return data
  

3. 缓存计算密集型方法的结果 #

get_sub_tasks和get_progress是针对用户和任务的计算逻辑，这些结果不会频繁变化，可以用Django缓存框架缓存：

• 给每个计算结果生成唯一缓存键，结合任务ID和用户ID：

  from django.core.cache import cache
  
  def get_progress(master_task, user):
      cache_key = f"task_progress_{master_task.id}_{user.id}"
      progress = cache.get(cache_key)
      if not progress:
          # 原有的进度计算逻辑
          progress = calculate_progress_logic(master_task, user)
          # 设置合理的过期时间，比如1小时（根据任务更新频率调整）
          cache.set(cache_key, progress, 3600)
      return progress
  

• 同理对get_sub_tasks做相同的缓存处理，避免重复执行复杂逻辑。

4. 延迟加载非必要数据 #

如果levels_config中的某些字段（比如progress）不是所有客户端都需要，可以让客户端通过查询参数控制返回字段：

• 在TaskSerializer中动态调整返回字段：

  class TaskSerializer(TaskBaseSerializer):
      levels_config = serializers.SerializerMethodField()
  
      class Meta:
          model = GameTask
          fields = [...]
  
      def get_levels_config(self, obj: GameTask):
          if not is_mastertask(obj):
              return None
          request = self.context["request"]
          include_progress = request.query_params.get('include_progress', 'true').lower() == 'true'
          config = {
              'sub_levels': TaskLevelSerializer(
                  obj.sub_levels.all(),
                  many=True,
                  context=self.context
              ).data,
          }
          if include_progress:
              config['progress'] = get_progress(master_task=obj, user=request.user)
          return config
  

• 这样不需要进度的请求就可以跳过耗时的get_progress计算。

5. 优化富文本字段的序列化 #

RichTextUploadingField序列化时可能涉及解析媒体文件URL、处理HTML内容，这部分开销可以优化：

• 添加一个冗余字段存储处理后的富文本内容：比如给GameTask加一个processed_description字段，当description更新时，用Django信号自动处理并保存到该字段，序列化时直接读取processed_description，避免每次序列化都处理富文本。
• 示例信号处理：

  from django.db.models.signals import post_save
  from django.dispatch import receiver
  
  @receiver(post_save, sender=GameTask)
  def process_description(sender, instance, created, **kwargs):
      if instance.description:
          # 处理富文本，比如替换相对URL为绝对URL等
          processed = process_rich_text(instance.description)
          if instance.processed_description != processed:
              GameTask.objects.filter(id=instance.id).update(processed_description=processed)
  

6. 数据库层面优化 #

• 添加索引：给TaskLevel.master_task_id、TaskLevel.sub_tasks的关联表字段，以及get_progress中用到的用户-任务关联字段添加索引，加速查询。
• 分析查询性能：用Django的django-debug-toolbar查看SQL查询日志，找出耗时最长的查询，针对性优化（比如调整查询条件、避免不必要的DISTINCT或ORDER BY）。

内容的提问来源于stack exchange，提问作者Frendom