使用Django-CTE递归查询时重复对象及N+1查询问题求助

问题根源 #

你当前的实现存在两个核心问题：

1. 调用obj.children.all()会触发额外数据库查询（N+1问题），因为MPTT默认的children关联是走数据库查询，而非使用已预取的CTE结果。
2. 重复对象是因为CTE已经获取了所有层级的评论，但MPTT的children查询会再次拉取子节点，导致结果重复。

解决方案：内存中手动构建树形结构 #

通过一次性获取所有评论并在内存中构建父子关系，彻底避免额外查询和重复对象。

步骤1：优化CTE查询，预关联用户

修改递归查询逻辑，提前预取评论关联的user，避免后续序列化时触发用户查询：

from django_cte import With

def recursive_comments(cte):
    return (
        AnalysisComment.objects.filter(level=0)
        .select_related("user")  # 预取用户
        .union(
            cte.join(AnalysisComment, parent=cte.col.id).select_related("user"),
            all=True,
        )
    )

cte = With.recursive(recursive_comments)
# 获取所有层级的评论，包含已预取的user
all_comments_qs = cte.join(AnalysisComment, id=cte.col.id).with_cte(cte)

步骤2：预取所有评论并构建树形结构

在获取Analysis查询集后，手动将预取的评论在内存中组装成树形结构：

from django.db.models import Prefetch

# 预取当前Analysis下的所有评论到all_comments属性
analysis_qs = Analysis.objects.prefetch_related(
    "tags",
    "playlists",
    Prefetch("comments", queryset=all_comments_qs, to_attr="all_comments"),
)

# 遍历每个Analysis，构建内存树形结构
for analysis in analysis_qs:
    # 用字典快速查找评论
    comment_map = {comment.id: comment for comment in analysis.all_comments}
    root_comments = []
    
    for comment in analysis.all_comments:
        # 给每个评论添加自定义的子节点属性（避免用MPTT默认的children）
        if not hasattr(comment, "tree_children"):
            comment.tree_children = []
        
        if comment.parent_id:
            parent_comment = comment_map.get(comment.parent_id)
            if parent_comment:
                parent_comment.tree_children.append(comment)
        else:
            # 根节点直接加入列表
            root_comments.append(comment)
    
    # 替换为构建好的根评论树，删除临时的all_comments
    analysis.parent_comments = root_comments
    delattr(analysis, "all_comments")

步骤3：修改序列化器使用内存树形结构

在序列化器中，使用我们手动构建的tree_children属性替代MPTT默认的children.all()：

from rest_framework import serializers

class UserSerializer(serializers.ModelSerializer):
    class Meta:
        model = settings.AUTH_USER_MODEL
        fields = ["id", "username", "avatar"]

class AnalysisCommentSerializer(serializers.ModelSerializer):
    user = UserSerializer(read_only=True)
    children = serializers.SerializerMethodField()

    class Meta:
        model = AnalysisComment
        fields = ["id", "user", "text", "children"]

    def get_children(self, obj):
        # 使用内存中的tree_children，不触发数据库查询
        return AnalysisCommentSerializer(obj.tree_children, many=True).data

class AnalysisSerializer(serializers.ModelSerializer):
    parent_comments = AnalysisCommentSerializer(many=True, read_only=True)
    tags = serializers.StringRelatedField(many=True)
    playlists = serializers.StringRelatedField(many=True)

    class Meta:
        model = Analysis
        fields = ["id", "title", "tags", "playlists", "parent_comments"]

核心优势 #

• 彻底消除N+1查询：所有评论和用户信息仅查询一次，后续操作全在内存中完成。
• 无重复对象：通过手动构建树形结构，每个评论仅出现一次。
• 性能高效：避免了MPTT默认查询的额外数据库交互，尤其适合评论层级较深的场景。

内容的提问来源于stack exchange，提问作者Bad Boy