Django大表中使用Min('id')的性能问题及最优方案咨询

问题背景 #

我有一个名为Table的Django模型，表中每秒新增数据，数据量极大：

class Table(models.Model):
    id: int
    pk: int

    timestamp = models.PositiveBigIntegerField(db_index=True)

需要获取过去24小时内的第一条记录，但相关查询耗时数秒，而获取最后一条记录却能瞬间完成。我尝试了以下查询语句：

from_ts = int(time.time()) - 24 * 60 * 60
# 方式1
first_entry = Table.objects.filter(timestamp__gte=from_ts).first()
# 方式2
first_entry = Table.objects.filter(timestamp__gte=from_ts).aggregate(Min('id'))

这两种方式都耗时很久，但使用.aggregate(Min('timestamp'))几乎瞬间返回结果。试过用.filter(timestamp__gte=from_ts)[0]，速度快但因未排序存在未定义行为，边缘场景可能失效。后来尝试将查询结果全部取出在Python中计算min，速度也几乎瞬间：

first_entry = min(list(Table.objects.filter(timestamp__gte=from_ts).values_list("id",flat=True)))

想请教：这一现象的原因是什么？以及最规范、最优的解决方案是什么？

现象原因分析 #

1. first()和aggregate(Min('id'))慢的核心原因

   • .first()默认按主键id升序排序，对应的SQL逻辑是SELECT ... FROM table WHERE timestamp >= ? ORDER BY id ASC LIMIT 1。数据库需要先筛选出所有符合timestamp >= from_ts的行，再对这些行的id排序后取第一条。虽然timestamp有单独索引，但排序操作需要扫描大量符合条件的数据，数据量极大时排序的IO和CPU开销会拉满，导致耗时久。
   • aggregate(Min('id'))要计算符合条件的最小id，同样需要遍历所有timestamp >= from_ts的行才能找到最小值，没有合适的索引支持timestamp+id的组合查询，所以效率极低。

2. aggregate(Min('timestamp'))快的原因

   • timestamp本身是带B-tree索引的，B-tree索引天然有序，数据库可以直接通过索引定位到最小的符合条件的timestamp，不需要扫描大量数据，所以瞬间返回结果。

3. Python中计算min快的原因

   • values_list("id", flat=True)会生成流式查询集，转成list时数据库会批量返回所有符合条件的id，现代数据库处理批量数据读取的效率很高；同时Python的min()函数对整数列表的遍历计算开销极低，所以整体速度快。但这种方式的隐患是：当符合条件的数据量达到百万级以上时，会占用大量内存，可能引发内存溢出问题。

最优解决方案 #

方案1：创建timestamp+id联合索引（推荐） #

在timestamp和id上创建联合索引，让数据库可以直接通过索引快速定位到符合条件的最小id，不需要额外排序：

class Table(models.Model):
    id: int
    pk: int

    timestamp = models.PositiveBigIntegerField(db_index=True)

    class Meta:
        indexes = [
            models.Index(fields=['timestamp', 'id']),
        ]

创建完成后，执行以下任一查询都会利用联合索引，速度大幅提升：

# 方式1：取第一条记录
first_entry = Table.objects.filter(timestamp__gte=from_ts).order_by('timestamp', 'id').first()
# 方式2：直接获取最小id
min_id = Table.objects.filter(timestamp__gte=from_ts).aggregate(Min('id'))['id__min']

方案2：分两次查询（无需新增索引） #

如果暂时无法新增索引，可以先通过timestamp索引找到过去24小时内的最小timestamp，再查询该时间点对应的最小id：

from_ts = int(time.time()) - 24 * 60 * 60
# 第一步：获取符合条件的最小timestamp
min_ts = Table.objects.filter(timestamp__gte=from_ts).aggregate(Min('timestamp'))['timestamp__min']
# 第二步：获取该timestamp下的最小id记录
first_entry = Table.objects.filter(timestamp=min_ts).order_by('id').first()

这种方式分两次查询，每次都能利用timestamp的单独索引，速度也很快，需要注意同一timestamp下可能有多条记录，必须按id排序取第一条。

方案3：避免隐式排序，明确指定排序字段 #

如果已经有联合索引，直接使用明确的排序语句即可，Django会自动匹配最优索引：

first_entry = Table.objects.filter(timestamp__gte=from_ts).order_by('timestamp', 'id').first()

内容的提问来源于stack exchange，提问作者urboom