Django ORM子查询性能远低于独立查询的问题求助

1. 先加复合索引（最关键一步） #

给MyDeviceMeasurement添加**parent_device + insert_time倒序**的复合索引，让数据库能直接定位到每台设备的最新测量记录，彻底避免排序操作：

class MyDeviceMeasurement(models.Model):
    device_id = models.AutoField(primary_key=True)
    insert_time = models.DateTimeField(auto_now_add=True)
    update_time = models.DateTimeField(auto_now=True)
    parent_device = models.ForeignKey(MyDevice, on_delete=models.CASCADE, null=False, blank=False)
    data = JSONField(null=False, blank=False, verbose_name="Data from device")

    class Meta:
        indexes = [
            # 复合索引：先按设备分组，再按时间倒序
            models.Index(fields=['parent_device', '-insert_time']),
        ]

执行python manage.py makemigrations和migrate重建索引后，原Subquery的速度会有质的飞跃。

2. 优化Subquery写法（更高效的SQL生成） #

如果加了索引后还想进一步优化，可以改用“先聚合最新时间，再关联取数据”的写法，让SQL执行计划更高效：

from django.db.models import Subquery, OuterRef, Max

# 第一步：获取每台设备的最新测量时间
latest_measurement_times = MyDeviceMeasurement.objects.filter(
    parent_device=OuterRef('pk')
).values('parent_device').annotate(
    latest_time=Max('insert_time')
).values('latest_time')

# 第二步：通过最新时间匹配对应的data字段
devices_with_latest_data = MyDevice.objects.annotate(
    latest_measurement=Subquery(
        MyDeviceMeasurement.objects.filter(
            parent_device=OuterRef('pk'),
            insert_time=OuterRef('latest_time')
        ).values('data')[:1]
    )
)

这种写法生成的SQL会先做一次聚合查询得到所有设备的最新时间，再用这个时间去匹配对应的记录，结合复合索引，能把查询时间压缩到毫秒级。

3. 用Prefetch批量查询（折中方案） #

如果上述优化仍不符合预期，可以用prefetch_related批量拉取所有数据，再在Python层面处理最新记录——只需要两次查询，避免N+1问题：

from django.db.models import Prefetch

# 批量获取所有设备，同时拉取对应测量记录并按时间倒序排序
devices = MyDevice.objects.prefetch_related(
    Prefetch(
        'data_set',  # ForeignKey反向关联的名称（默认是模型名小写_set）
        queryset=MyDeviceMeasurement.objects.order_by('-insert_time'),
        to_attr='sorted_measurements'
    )
)

# 在Python层面提取每台设备的最新数据
for device in devices:
    if device.sorted_measurements:
        device.latest_measurement = device.sorted_measurements[0].data
    else:
        device.latest_measurement = None

• 你把MyDeviceMeasurement的device_id设为AutoField(primary_key=True)，但同时又有parent_device关联到MyDevice，这容易造成字段名混淆。建议把主键改回默认的id，让device_id专门用来存储设备的业务ID（如果需要的话），避免逻辑混乱。
• 确认parent_device字段的索引：Django的ForeignKey默认会自动创建索引，但最好检查一下数据库表结构，确保没有遗漏。

内容的提问来源于stack exchange，提问作者Golfista