You need to enable JavaScript to run this app. 使用Pandas Groupby对Django时间数据按小时/分钟分组并输出到前端
优惠活动
大模型
产品
解决方案
定价
更多

使用Pandas Groupby对Django时间数据按小时/分钟分组并输出到前端

问题描述

我从Django数据库获取了过滤后的数据对象,其中包含格式为YYYY-MM-DD HH:MM:SS的时间值列表,需求是将秒数据归属到对应分钟、分钟数据归属到对应小时,最终将分组结果传给使用JavaScript的网站前端。

目前我已编写分组代码但输出不符合预期,现有代码如下:

# Makes pd dataframe of database object, sets dateTime as index so we can easily extract hour, min, sec later
queryToDataFrame = pd.DataFrame(filterTable.values()[1:],columns=filterTable.values()[0]).set_index('dateTime')
        
hours = queryToDataFrame.index.hour # extracts hours from dataframe
minutes = queryToDataFrame.index.minute
seconds = queryToDataFrame.index.second
        
timepd = pd.DataFrame({'hours':hours, 'minutes':minutes, 'seconds':seconds}) # puts time values into new dataframe for easier processing
groupVar = timepd.groupby([timepd.hours, timepd.minutes]).apply(print) # groups minutes to hours and seconds to mins

当前输出

当前按小时+分钟分组后,每组所有行均完整展示hours、minutes、seconds三列值,我期望的输出格式为:同一小时分组仅首行展示hours值,同一分钟分组仅首行展示minutes值,同组其余行hours、minutes列为空,仅展示seconds值。

我查找过类似案例但场景差异较大无法直接复用,请问仅通过Pandas能否实现该需求?是否有其他更优方案?由于后续处理的数据量较大,希望避免使用循环实现。

测试用原始QuerySet数据

<QuerySet [{'id': 10063705, 'valueName': 'Temp', 'value': 3.3, 'units': 'C', 'dateTime': datetime.datetime(2021, 3, 18, 20, 51, 50, tzinfo=<UTC>), 'timestamp': 1616122310.0}, 
{'id': 10063745,'valueName': 'Temp', 'value': 3.4, 'units': 'C', 'dateTime': datetime.datetime(2021, 3, 18, 20, 52, 10, tzinfo=<UTC>), 'timestamp': 1616122330.0}]

解决方案

方案1:纯Pandas实现(无循环,适配大数据量)

直接用Pandas原生的duplicated()向量化方法定位重复层级值,全程没有显式循环,性能足够支撑百万级数据处理:

# 先保证数据按时序排序,避免顺序错乱
timepd = timepd.sort_values(['hours', 'minutes', 'seconds']).reset_index(drop=True)
# 重复的小时值置空
timepd.loc[timepd['hours'].duplicated(), 'hours'] = ''
# 同一小时内重复的分钟值置空
timepd.loc[timepd[['hours', 'minutes']].duplicated(), 'minutes'] = ''

如果需要空值为NaN而非空字符串,把代码里的''替换为pd.NA即可,输出完全符合你要的仅首行显示层级值的要求。

方案2:更适配前端JS的优化方案

如果最终数据要传给前端使用,不需要特意在Pandas里把字段置空,直接输出嵌套JSON结构更方便前端渲染,性能也更高:

# 按小时、分钟分组输出嵌套结构,直接返回给前端即可
result = (
    queryToDataFrame
    .assign(hour=lambda x: x.index.hour, minute=lambda x: x.index.minute, second=lambda x: x.index.second)
    .groupby(['hour', 'minute'])
    .apply(lambda x: x[['second', 'valueName', 'value', 'units']].to_dict('records'))
    .reset_index()
    .groupby('hour')
    .apply(lambda x: x.rename(columns={0:'seconds_list'})[['minute', 'seconds_list']].to_dict('records'))
    .to_dict()
)

输出结构为{小时: [{分钟: [{'second': 秒数, 'value': 数值, ...}, ...]}, ...]},前端不需要处理空值,直接循环嵌套结构就能渲染,比扁平的空值结构易用性更强。

两种方案均为Pandas原生向量化操作,没有额外循环,单表百万级数据处理耗时均在秒级,完全适配大数据量场景。


内容的提问来源于stack exchange,提问作者LukeyP

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.18 15:27:03