Django潜在n+1查询问题优化咨询：保留功能降查询成本

在Django视图中，Scout-apm识别到特定查询存在潜在N+1问题，实际查询量过高——原代码中if q.exists()和qn = q.first()两句导致查询量从约400飙升至1300。需要保留"检查查询结果是否存在+获取最新对象"的功能，同时降低数据库查询成本。

原代码 #

models.py #

class Grade(models.Model):
    score = models.CharField(max_length=4, blank=True)
    testing = models.ForeignKey(Testing, on_delete=models.CASCADE)
    student = models.ForeignKey(Student, on_delete=models.CASCADE)
    classroom = models.ForeignKey(Purpose, on_delete=models.CASCADE)  # 注：此处外键指向Purpose，但下方定义的是Classroom，疑似笔误
    time_created = models.DateField(
        auto_now=False, auto_now_add=False, default=timezone.now)

class Testing(models.Model):
    name = models.CharField(max_length=20, blank=True)
    omit = models.BooleanField(default=False)
    
class Classroom(models.Model):
    name = models.CharField(max_length=20, blank=True)

views.py #

def allgrades(request, student_id):
    classrooms = Classroom.objects.all()
    for c in classrooms:
        q = Grade.objects.filter(
            student=student_id, classroom=c.id, testing__omit="False").order_by('-time_created')
        if q.exists():
            if len(q) < 3:
                qn = q.first()
            else:
                # 其他逻辑
                pass

优化方案 #

1. 合并exists()与first()查询 #

exists()会触发一次SELECT EXISTS查询，first()又会触发一次SELECT ... LIMIT 1查询，两次查询可合并为一次：

def allgrades(request, student_id):
    classrooms = Classroom.objects.all()
    for c in classrooms:
        qn = Grade.objects.filter(
            student=student_id, 
            classroom=c.id, 
            testing__omit=False  # 修正：BooleanField用布尔值而非字符串
        ).order_by('-time_created').first()
        if qn:
            # 如需确认该classroom下的记录总数，单独做聚合查询
            record_count = Grade.objects.filter(
                student=student_id, 
                classroom=c.id, 
                testing__omit=False
            ).count()
            if record_count <3:
                # 处理逻辑
                pass
            else:
                # 其他逻辑
                pass

2. 批量查询彻底消除循环查询（推荐） #

原代码循环每个Classroom发起一次查询，查询次数随Classroom数量线性增长。改为一次查询所有符合条件的记录，在内存中分组处理：

from django.db.models import Count

def allgrades(request, student_id):
    # 1. 一次查询获取每个classroom下的最新Grade记录
    latest_grades = Grade.objects.filter(
        student=student_id,
        testing__omit=False
    ).order_by('-time_created').distinct('classroom')  # 按classroom去重，取最新一条
    grade_map = {g.classroom_id: g for g in latest_grades}

    # 2. 一次查询获取每个classroom对应的记录总数
    classroom_counts = Grade.objects.filter(
        student=student_id,
        testing__omit=False
    ).values('classroom').annotate(record_count=Count('id'))
    count_map = {item['classroom']: item['record_count'] for item in classroom_counts}

    # 3. 遍历classrooms，直接从内存字典取数据
    classrooms = Classroom.objects.all()
    for c in classrooms:
        qn = grade_map.get(c.id)
        if qn:
            record_count = count_map.get(c.id, 0)
            if record_count <3:
                # 处理逻辑
                pass
            else:
                # 其他逻辑
                pass

关键优化点说明 #

• 合并查询：用first()直接替代exists()+first()，将两次查询缩减为一次，同时保留"存在性检查+获取最新对象"的功能。
• 批量查询：将循环中的N次查询缩减为2次批量查询（获取最新记录、获取记录数），查询量不再随Classroom数量增长。
• 修正字段查询：BooleanField字段直接用布尔值False查询，避免字符串匹配导致的索引失效和查询不准确。

内容的提问来源于stack exchange，提问作者Doug Smith