如何从Django QuerySet构建按时间戳分组的字典

完全懂你的困扰——66k数据量用纯Python循环处理不仅效率低，手动维护「同一时间戳追加值」的逻辑还容易出错。优先用数据库层面的分组聚合绝对是最优解，毕竟数据库天生就擅长这类批量聚合操作，比Python循环快得多。

首选方案：数据库层面分组聚合（以Django ORM为例） #

既然你提到了queryset，假设你用的是Django。我们可以直接让数据库帮我们完成分组和值的聚合，Python只需要把结果转换成目标格式就行：

from django.db.models import ArrayAgg

# 按time字段分组，将同一时间的value聚合为数组
grouped_queryset = DataPoint.objects.values('time').annotate(values=ArrayAgg('value')).order_by('time')

# 直接转换成你要的字典结构
result = {
    "data_array": list(grouped_queryset)
}

这个方案的优势在于：所有分组逻辑都在数据库端完成，不需要把66k条数据全部加载到Python内存里循环处理，尤其是针对你提到的7k个共享时间戳的场景，数据库的聚合效率远高于Python。

注意时间戳精度问题 #

如果你的时间戳存在精度差异（比如数据库存储的是带微秒的datetime，但你需要的是固定格式的字符串），可以先统一格式化时间戳再分组，避免因为微小差异导致同时间被拆分：

from django.db.models import Func, Value, CharField

# 将数据库的datetime格式化为你需要的字符串格式
formatted_time = Func(
    'time',
    Value('%Y-%m-%dT%H:%M:%S.%fZ'),
    function='TO_CHAR',  # PostgreSQL用TO_CHAR，MySQL用DATE_FORMAT，根据你的数据库调整
    output_field=CharField()
)

# 用格式化后的时间分组
grouped_queryset = DataPoint.objects.values(formatted_time).annotate(values=ArrayAgg('value')).order_by(formatted_time)
result = {"data_array": list(grouped_queryset)}

备选方案：高效Python循环（当无法用数据库聚合时） #

如果因为ORM版本限制或者其他原因不能用数据库聚合，推荐用collections.defaultdict来实现高效分组，比手动判断时间戳是否存在要简洁且高效：

from collections import defaultdict

# 用defaultdict自动初始化空列表
time_to_values = defaultdict(list)

# 建议先按time排序，让相同时间戳的数据连续出现，提升缓存命中率
for point in DataPoint.objects.order_by('time'):
    # 直接追加值到对应时间戳的列表
    time_to_values[point.time].append(point.value)

# 转换成目标字典格式
result = {
    "data_array": [{"time": timestamp, "values": values} for timestamp, values in time_to_values.items()]
}

这个方案的时间复杂度是O(n)，比嵌套循环或者每次检查字典键的方式高效很多，而且代码也更简洁。

内容的提问来源于stack exchange，提问作者Mormoran