使用Pandas Groupby对Django时间数据按小时/分钟分组并输出到前端
问题描述
我从Django数据库获取了过滤后的数据对象,其中包含格式为YYYY-MM-DD HH:MM:SS的时间值列表,需求是将秒数据归属到对应分钟、分钟数据归属到对应小时,最终将分组结果传给使用JavaScript的网站前端。
目前我已编写分组代码但输出不符合预期,现有代码如下:
# Makes pd dataframe of database object, sets dateTime as index so we can easily extract hour, min, sec later queryToDataFrame = pd.DataFrame(filterTable.values()[1:],columns=filterTable.values()[0]).set_index('dateTime') hours = queryToDataFrame.index.hour # extracts hours from dataframe minutes = queryToDataFrame.index.minute seconds = queryToDataFrame.index.second timepd = pd.DataFrame({'hours':hours, 'minutes':minutes, 'seconds':seconds}) # puts time values into new dataframe for easier processing groupVar = timepd.groupby([timepd.hours, timepd.minutes]).apply(print) # groups minutes to hours and seconds to mins
当前输出
当前按小时+分钟分组后,每组所有行均完整展示hours、minutes、seconds三列值,我期望的输出格式为:同一小时分组仅首行展示hours值,同一分钟分组仅首行展示minutes值,同组其余行hours、minutes列为空,仅展示seconds值。
我查找过类似案例但场景差异较大无法直接复用,请问仅通过Pandas能否实现该需求?是否有其他更优方案?由于后续处理的数据量较大,希望避免使用循环实现。
测试用原始QuerySet数据
<QuerySet [{'id': 10063705, 'valueName': 'Temp', 'value': 3.3, 'units': 'C', 'dateTime': datetime.datetime(2021, 3, 18, 20, 51, 50, tzinfo=<UTC>), 'timestamp': 1616122310.0}, {'id': 10063745,'valueName': 'Temp', 'value': 3.4, 'units': 'C', 'dateTime': datetime.datetime(2021, 3, 18, 20, 52, 10, tzinfo=<UTC>), 'timestamp': 1616122330.0}]
解决方案
方案1:纯Pandas实现(无循环,适配大数据量)
直接用Pandas原生的duplicated()向量化方法定位重复层级值,全程没有显式循环,性能足够支撑百万级数据处理:
# 先保证数据按时序排序,避免顺序错乱 timepd = timepd.sort_values(['hours', 'minutes', 'seconds']).reset_index(drop=True) # 重复的小时值置空 timepd.loc[timepd['hours'].duplicated(), 'hours'] = '' # 同一小时内重复的分钟值置空 timepd.loc[timepd[['hours', 'minutes']].duplicated(), 'minutes'] = ''
如果需要空值为NaN而非空字符串,把代码里的''替换为pd.NA即可,输出完全符合你要的仅首行显示层级值的要求。
方案2:更适配前端JS的优化方案
如果最终数据要传给前端使用,不需要特意在Pandas里把字段置空,直接输出嵌套JSON结构更方便前端渲染,性能也更高:
# 按小时、分钟分组输出嵌套结构,直接返回给前端即可 result = ( queryToDataFrame .assign(hour=lambda x: x.index.hour, minute=lambda x: x.index.minute, second=lambda x: x.index.second) .groupby(['hour', 'minute']) .apply(lambda x: x[['second', 'valueName', 'value', 'units']].to_dict('records')) .reset_index() .groupby('hour') .apply(lambda x: x.rename(columns={0:'seconds_list'})[['minute', 'seconds_list']].to_dict('records')) .to_dict() )
输出结构为{小时: [{分钟: [{'second': 秒数, 'value': 数值, ...}, ...]}, ...]},前端不需要处理空值,直接循环嵌套结构就能渲染,比扁平的空值结构易用性更强。
两种方案均为Pandas原生向量化操作,没有额外循环,单表百万级数据处理耗时均在秒级,完全适配大数据量场景。
内容的提问来源于stack exchange,提问作者LukeyP

