如何在Django中高效按多字段聚合Trade模型数据？

我有一个Django模型Trade，用于存储多个市场的交易信息。模型对象每5分钟打一次时间戳，我需要按market和datetime字段对其进行聚合。考虑到性能因素，最佳解决方案是什么？我目前的做法是提取时间戳列表后循环聚合，但担心这不是最高效的方案。

模型定义：

class Trade(TimestampedModel):
    market = models.ForeignKey(Market, on_delete=models.CASCADE, null=True)
    datetime = models.DateTimeField(null=True)
    amount = models.FloatField(null=True)
    price = models.FloatField(null=True)
    trades = models.FloatField(null=True)

现有代码：

from django.db.models import Sum, Avg

# 按时间倒序排序
qs = Trade.objects.all().order_by("-datetime")

# 提取唯一时间戳
dts = qs.values_list("datetime", flat=True).distinct()

for dt in dts:
    cum_a = qs.filter(datetime=dt).aggregate(num_a=Sum('amount'))['num_a']
    cum_t = qs.filter(datetime=dt).aggregate(num_t=Sum('trades'))['num_t']
    avg_p = qs.filter(datetime=dt).aggregate(avg_p=Avg('price'))['avg_p']
    # 存储聚合后的数据

你的现有代码会产生N+1次数据库查询（N是唯一时间戳的数量），数据量一大性能会暴跌。正确的做法是用Django ORM的values() + annotate()组合，一次性完成分组聚合，只需要1次数据库查询。

核心代码实现 #

from django.db.models import Sum, Avg

# 按market和datetime分组，一次性计算所有聚合值
aggregated_data = Trade.objects.values('market', 'datetime') \
    .annotate(
        total_amount=Sum('amount'),
        total_trades=Sum('trades'),
        average_price=Avg('price')
    ) \
    .order_by('-datetime')

# 遍历处理聚合结果
for item in aggregated_data:
    market_id = item['market']  # 外键字段在这里返回对应记录的ID
    dt = item['datetime']
    cum_a = item['total_amount']
    cum_t = item['total_trades']
    avg_p = item['average_price']
    # 存储聚合后的数据

关键优化点 #

• 减少查询次数：从N+1次查询压缩到1次，大幅降低数据库IO开销
• 精准分组：values('market', 'datetime')明确指定分组维度，确保每个市场+时间戳的组合单独聚合，完全匹配你的需求
• 数据库层面聚合：数据库原生的分组计算比Python循环处理效率高得多，数据量越大优势越明显

额外性能优化建议 #

• 给market和datetime加联合索引，让分组查询更快：

  class Trade(TimestampedModel):
      # ... 其他字段 ...
      class Meta:
          indexes = [
              models.Index(fields=['market', 'datetime']),
          ]
  

• 如果不需要全量历史数据，加时间范围过滤进一步缩小处理范围：

  from datetime import timedelta
  from django.utils import timezone
  
  seven_days_ago = timezone.now() - timedelta(days=7)
  aggregated_data = Trade.objects.filter(datetime__gte=seven_days_ago) \
      .values('market', 'datetime') \
      .annotate(total_amount=Sum('amount'), total_trades=Sum('trades'), average_price=Avg('price')) \
      .order_by('-datetime')
  

内容的提问来源于stack exchange，提问作者Florent