Django REST API嵌套序列化下SerializerMethodField引发N+1查询的优化问题
问题根因
当前代码存在两类核心问题:
- 功能逻辑错误:
get_is_known方法校验已知词时,完全没有按当前登录用户过滤,只要任意用户标记过某个词汇为已知,就会返回is_known=True,和实际业务需求不符 - 性能问题:典型的N+1查询,总查询数随文本内的单词量线性增长,具体包括:
- 每个Word序列化时单独执行一次KnownWords表查询
- 每个Word序列化时单独执行一次Vocabulary表查询(原queryset没有预取Word关联的Vocabulary外键)
优化方案
通过视图层提前预取所需数据,借助DRF序列化的context通道把数据传递到最内层的WordSerializer,完全消除额外查询,且修正原有的逻辑错误。
第一步:修改视图层,预取数据并传入序列化上下文
from django.db.models import Prefetch class TextDetail(generics.RetrieveAPIView): serializer_class = TextSerializer def get_queryset(self): current_user = self.request.user # 预取当前用户的所有已掌握词汇ID集合,一次查询拿到全量匹配结果 known_vocab_ids = set( KnownWords.objects.filter(user=current_user).values_list('vocabulary_id', flat=True) ) # 预取文本关联的所有句子、单词,同时通过select_related加载Word关联的Vocabulary外键 queryset = Text.objects.prefetch_related( Prefetch('sentences', queryset=Sentence.objects.all()), Prefetch( 'sentences__words', queryset=Word.objects.select_related('vocabulary') ) ) # 将预取结果挂载到视图实例,方便传递到序列化上下文 self.known_vocab_ids = known_vocab_ids return queryset def get_serializer_context(self): context = super().get_serializer_context() # 把预取的已掌握词汇ID集合注入上下文,所有嵌套层级的序列化器均可读取 context['known_vocab_ids'] = self.known_vocab_ids return context
第二步:修改WordSerializer,移除逐次查询逻辑
class WordSerializer(serializers.ModelSerializer): is_known = serializers.SerializerMethodField() class Meta: model = Word fields = ['id', 'order', 'word', 'vocabulary', 'is_known'] # 注意:原代码fields中'is_known '存在尾部多余空格,会导致字段映射失效,需修正 def get_is_known(self, obj): # 从上下文中直接读取预取好的已掌握词汇集合,无额外数据库查询 known_vocab_ids = self.context.get('known_vocab_ids', set()) # 直接判断当前单词关联的词汇ID是否在已掌握集合中 # 当Word未关联Vocabulary时,obj.vocabulary_id为None,判断自动返回False,符合业务逻辑 return obj.vocabulary_id in known_vocab_ids
原代码中的SentenceSerializer、TextSerializer不需要修改,嵌套序列化会自动继承上下文中的预取数据。
优化效果
优化后的总查询数固定为4次,和文本包含的单词数量完全无关:
- 1次查询当前用户的已掌握词汇ID集合
- 1次查询目标Text对象
- 1次查询Text关联的所有Sentence
- 1次查询所有Sentence关联的Word(带Vocabulary外键预加载)
对比原有逻辑,100个单词的文本可从103次以上查询降到4次,长文本场景下查询耗时会从3000ms级别降到10ms以内。
可选进阶优化
如果单用户的已掌握词汇量超过1万条,可进一步缩小预取范围,避免拉取冗余数据:
def get_queryset(self): current_user = self.request.user # 先定位当前要查询的Text关联的所有Vocabulary ID,缩小匹配范围 target_vocab_ids = Word.objects.filter( sentence__text_id=self.kwargs['pk'] ).values_list('vocabulary_id', flat=True) # 仅查询当前文本涉及的词汇中,用户已掌握的部分 known_vocab_ids = set( KnownWords.objects.filter( user=current_user, vocabulary_id__in=target_vocab_ids ).values_list('vocabulary_id', flat=True) ) self.known_vocab_ids = known_vocab_ids return Text.objects.prefetch_related( Prefetch('sentences', queryset=Sentence.objects.all()), Prefetch( 'sentences__words', queryset=Word.objects.select_related('vocabulary') ) )
内容的提问来源于stack exchange,提问作者Paolo P.
相关产品推荐
相关产品推荐

