如何优化Django ORM查询？GDD计算耗时过长问题求解

当前获取生长度日（GDD）的ORM查询耗时极长，怀疑子查询是性能瓶颈，但尝试通过关联关系commune__communemeteo查询时耗时更久。CommuneMeteo表数据量约100万条，现有代码及模型定义如下：

现有查询代码 #

communes = communes.filter(
    communeattribute__date__year=year,
    communeattribute__date__month=month,
    communeattribute__date__day__range=(
        days.get("start_date"),
        days.get("end_date"),
    ),
)
gdd_subquery = (
    CommuneMeteo.objects.filter(
        date__range=(start_date, end_date), commune_id=OuterRef("id")
    )
    .values("commune_id")
    .annotate(gdd=Sum((F("temp_min") + F("temp_max")) / Value(2) - Value(TBASE)))
    .values("gdd")[:1]
)

communes = communes.annotate(
    plant=Value(f"{plant}", output_field=CharField()),
    size=Sum(F("communeattribute__planted_area"), output_field=FloatField()),
    gdd=Subquery(gdd_subquery, output_field=FloatField()),
)

模型定义 #

# models.py
class CommuneMeteo(models.Model):
    date = models.DateField(db_index=True)
    commune = models.ForeignKey(Commune, on_delete=models.CASCADE, db_index=True)
    temp_min = models.FloatField()
    temp_avg = models.FloatField()
    temp_max = models.FloatField()
    precip_total = models.FloatField()

class Commune(models.Model):
    geometry = models.MultiPolygonField(geography=True)
    code = models.CharField(max_length=20)
    name = models.CharField(max_length=255)
    region = models.ForeignKey(Region, on_delete=models.CASCADE, db_index=True)
    sub_region = models.ForeignKey(
        SubRegion, on_delete=models.SET_NULL, db_index=True, null=True, blank=True
    )

优化方案 #

1. 预聚合GDD数据，替换逐行子查询 #

原方案每个Commune都会触发一次子查询，目标Commune数量多的时候会产生N次数据库请求。改成先批量计算所有符合条件的GDD，再关联到主查询：

# 先批量计算日期范围内所有Commune的GDD总和
gdd_aggregates = CommuneMeteo.objects.filter(
    date__range=(start_date, end_date)
).values('commune_id').annotate(
    total_gdd=Sum((F("temp_min") + F("temp_max")) / Value(2) - Value(TBASE))
)
# 转成字典，方便后续快速匹配
gdd_map = {item['commune_id']: item['total_gdd'] or 0.0 for item in gdd_aggregates}

# 执行主查询（去掉Subquery部分）
communes = communes.annotate(
    plant=Value(f"{plant}", output_field=CharField()),
    size=Sum(F("communeattribute__planted_area"), output_field=FloatField()),
)

# 批量给查询集添加GDD值
for commune in communes:
    commune.gdd = gdd_map.get(commune.id, 0.0)

这种方式把N次查询压缩成1次聚合查询，性能提升非常明显。

2. 添加联合索引，加速聚合查询 #

当前CommuneMeteo只有date和commune_id的单独索引，建议添加**(commune_id, date)**联合索引，因为查询同时按commune_id过滤和date范围筛选，联合索引能让数据库直接定位到目标数据，避免全表扫描：

class CommuneMeteo(models.Model):
    date = models.DateField(db_index=True)
    commune = models.ForeignKey(Commune, on_delete=models.CASCADE, db_index=True)
    temp_min = models.FloatField()
    temp_avg = models.FloatField()
    temp_max = models.FloatField()
    precip_total = models.FloatField()

    class Meta:
        indexes = [
            models.Index(fields=['commune_id', 'date']),
        ]

执行python manage.py makemigrations和python manage.py migrate创建索引，注意百万级表创建索引会锁表，建议在业务低峰期操作。

3. 利用现有字段减少计算量 #

如果CommuneMeteo表中已经有temp_avg字段，直接用它代替(temp_min + temp_max)/2，减少数据库端的计算开销：

# 替换聚合计算部分
total_gdd=Sum(F("temp_avg") - Value(TBASE))

4. 简化主查询的日期过滤条件 #

原查询拆分了year/month/day进行过滤，改成直接用date__range，减少数据库的条件判断逻辑：

# 先构造完整的日期范围
attribute_start = days.get("start_date")
attribute_end = days.get("end_date")
communes = communes.filter(
    communeattribute__date__range=(attribute_start, attribute_end)
)

内容的提问来源于stack exchange，提问作者Kirill