如何用Django Queryset高效获取每个用户-周期对的最新DataFile对象

方案1：通用数据库兼容方案（子查询+聚合） #

原代码的核心问题是循环发起数据库查询，属于典型的N+1查询问题，数据量越大性能损耗越明显。我们可以通过先分组获取每组最新创建时间，再关联查询对应实例，将查询次数压缩到2次：

from django.db.models import Max, Subquery, OuterRef

# 子查询：计算每个(user, period)组的最新created时间
latest_created = DataFile.objects.filter(
    user=OuterRef('user'),
    period=OuterRef('period')
).values('user', 'period').annotate(
    max_created=Max('created')
).values('max_created')

# 主查询：筛选出每组中created等于最新时间的实例
data = DataFile.objects.filter(
    created=Subquery(latest_created)
).distinct()

原理说明： #

1. 子查询latest_created会为每个(user, period)组合计算出该组的最大created时间（即最新记录的时间戳）。
2. 主查询通过Subquery关联子查询结果，筛选出所有created时间匹配对应组最大时间的记录，distinct用于避免同一组存在多条相同时间记录时重复返回。
3. 整个流程仅需2次数据库查询，彻底消除循环查询的性能开销。

方案2：PostgreSQL专属高效方案（DISTINCT ON） #

如果你的项目使用PostgreSQL数据库，可利用它原生支持的DISTINCT ON语法，一次查询完成分组取最新记录：

data = DataFile.objects.order_by('user', 'period', '-created').distinct('user', 'period')

原理说明： #

1. order_by('user', 'period', '-created')先按user和period分组排序，同一组内按created倒序排列（最新记录排在最前）。
2. distinct('user', 'period')会保留每个(user, period)组的第一条记录，也就是该组最新的DataFile实例。
3. 这是PostgreSQL原生优化的语法，查询效率极高，仅需1次数据库查询。

针对指定ID元组列表的适配优化 #

如果你的需求不是获取所有(user, period)组的最新记录，而是仅针对给定的元组列表（例如题目中的{(272, 42), (78, 39), ...}），可在上述方案中添加精准过滤：

通用方案适配： #

target_pairs = {(272, 42), (78, 39), (280, 9), ...}

latest_created = DataFile.objects.filter(
    user__in=[u for u, p in target_pairs],
    period__in=[p for u, p in target_pairs],
    user=OuterRef('user'),
    period=OuterRef('period')
).values('user', 'period').annotate(
    max_created=Max('created')
).values('max_created')

data = DataFile.objects.filter(
    created=Subquery(latest_created),
    user__in=[u for u, p in target_pairs],
    period__in=[p for u, p in target_pairs]
).distinct()

PostgreSQL方案适配： #

from django.db.models import Q

target_pairs = {(272, 42), (78, 39), (280, 9), ...}

data = DataFile.objects.filter(
    *[Q(user=u, period=p) for u, p in target_pairs]
).order_by('user', 'period', '-created').distinct('user', 'period')

补充：索引优化 #

为进一步提升查询性能，建议给DataFile模型添加复合索引：

class DataFile(models.Model):
    user = models.ForeignKey('data.User', verbose_name='Data View')
    period = models.ForeignKey('data.Period', verbose_name='Period')
    created = models.DateTimeField(auto_now_add=True,null=True)

    class Meta:
        indexes = [
            models.Index(fields=['user', 'period', '-created']),
        ]

该索引会直接覆盖分组排序的查询逻辑，让数据库无需全表扫描，大幅缩短查询耗时。

内容的提问来源于stack exchange，提问作者Kodeeo