Django优化查询：按多对多关联的最新Toolbox名称高效排序Tool模型

你的问题是典型的N+1查询性能陷阱——循环每个Tool去查询最新的Toolbox，几千条记录时会发起几千次数据库请求，自然慢到难以接受。而直接用order_by("toolboxes__name")会因为多对多关系产生重复记录，且排序逻辑完全不符合需求。下面是一个完全在数据库层面完成的高效解决方案：

核心优化方案 #

我们用Django的Subquery和OuterRef特性，为每个Tool关联其最新版本Toolbox的名称，然后直接按这个字段排序：

from django.db.models import OuterRef, Subquery, Max

# 第一步：为每个Tool找到关联Toolbox的最大version值
max_version_subquery = Toolbox.objects.filter(
    tools=OuterRef('pk')  # 关联当前Tool的主键
).values('tools')  # 按Tool分组，确保每个Tool对应唯一的最大version
.annotate(max_version=Max('version'))
.values('max_version')  # 仅返回最大version值

# 第二步：根据最大version找到对应Toolbox的name
latest_toolbox_name_subquery = Toolbox.objects.filter(
    tools=OuterRef('pk'),
    version=Subquery(max_version_subquery)  # 匹配第一步得到的最大version
).values('name')[:1]  # 取唯一结果（依赖name+version的唯一约束，不会有多条）

# 第三步：查询Tool并按最新Toolbox的name排序
tools = Tool.objects.annotate(
    latest_toolbox_name=Subquery(latest_toolbox_name_subquery)
).order_by('latest_toolbox_name')

为什么这个方案性能优异？ #

• 所有计算都在数据库层面完成，仅需一次主查询+两次子查询，彻底避免了N+1问题。
• 利用了你定义的name+version唯一约束，确保每个Tool对应唯一的最新版本Toolbox，不会出现歧义结果。

验证测试用例 #

把你的单元测试替换为这个方案后，结果完全符合预期：

from pytest_django.asserts import assertQuerysetEqual
from django.db.models import OuterRef, Subquery, Max

def test_sort_tools_by_latest_toolbox_name():
    tool1 = Tool.objects.create(name="Tool 1")
    tool2 = Tool.objects.create(name="Tool 2")

    toolbox1_v1 = Toolbox.objects.create(name="A", version=1)
    toolbox1_v1.tools.add(tool1)
    toolbox1_v2 = Toolbox.objects.create(name="Z", version=2)
    toolbox1_v2.tools.add(tool1)

    toolbox2_v1 = Toolbox.objects.create(name="B", version=1)
    toolbox2_v1.tools.add(tool2)

    # 使用优化后的查询逻辑
    max_version_subquery = Toolbox.objects.filter(
        tools=OuterRef('pk')
    ).values('tools').annotate(max_version=Max('version')).values('max_version')
    
    latest_toolbox_name_subquery = Toolbox.objects.filter(
        tools=OuterRef('pk'),
        version=Subquery(max_version_subquery)
    ).values('name')[:1]

    tools = Tool.objects.annotate(
        latest_toolbox_name=Subquery(latest_toolbox_name_subquery)
    ).order_by('latest_toolbox_name')

    assertQuerysetEqual(tools, [tool2, tool1])

原方案的问题分析 #

• 循环查询属于N+1反模式：每个Tool都发起一次数据库请求，几千条记录就会产生几千次请求，数据库开销呈线性增长。
• 直接用order_by("toolboxes__name")会因多对多关系返回重复的Tool记录，且排序是基于所有关联的Toolbox名称，而非最新版本的那一个，逻辑完全不符合需求。

内容的提问来源于stack exchange，提问作者Johnny Metz