Pandas按Date分组提取每日极值温度及对应站点的高效实现方案
场景说明
- 现有DataFrame
df存储破纪录温度观测日志,单行对应某站点某日期的破纪录温度记录,字段含义:Date:观测日期ID:观测站点唯一标识MinMax:标记当前记录为破纪录最高温(值为MAX)还是破纪录最低温(值为MIN)T:对应记录的温度值
原始数据样例:
Date ID MinMax T 0 01-01-2020 UH24GT2 MAX 13.4 1 02-01-2020 UJ24GT1 MIN -23.5 2 02-06-2020 UK21GT4 MAX 38.5 3 15-07-2020 JK32HT6 MAX 43.1
业务需求
按Date分组聚合,每个日期输出一行结果,分别提取:
- 当日所有破纪录最低温中的极值温度、对应观测站点ID
- 当日所有破纪录最高温中的极值温度、对应观测站点ID
- 规则:若同一极值存在多个站点命中,任意返回一个站点ID即可,无需列出全部站点
目标输出结构样例:
date ID MIN T MIN ID MAX T MAX 0 01-01-2020 HT21GT2 -28.4 JK21HT2 43.4 1 02-01-2020 UI24GT3 -31.2 UJ23HJ5 40.8 2 03-01-2020 JK21HT4 -30.3 JH12TH4 38.5 3 04-01-2020 BE12HT6 -29.8 JK34UT5 43.1
现有实现的缺陷
当前采用「日期分组后二次按MinMax分类、逐组判断极值、返回索引后回查原表匹配站点ID」的实现逻辑,存在两处不足:
- 运行效率低:
groupby.apply逐组触发Python函数调用,无法利用pandas向量化计算优势,数据量较大时性能衰减明显 - 逻辑冗余:手动索引回查的步骤可通过pandas内置的分组定位能力替代,代码冗余度高、维护成本高
优化实现方案
方案1:向量化拆分聚合(性能最优,适配大规模数据)
核心逻辑是先拆分最高温、最低温两个独立子集,分别在子集内按日期分组定位极值行,最后按日期合并结果,全程使用pandas内置C层向量化函数,无Python层逐组循环开销。
实现代码:
import pandas as pd # 拆分MAX、MIN两类记录子集 df_max = df[df["MinMax"] == "MAX"] df_min = df[df["MinMax"] == "MIN"] # 分别在子集内按日期定位温度极值对应的行 # 最高温:取每个日期下温度最高的行 max_rows = df_max.loc[df_max.groupby("Date")["T"].idxmax()][["Date", "ID", "T"]].set_index("Date") max_rows = max_rows.rename(columns={"ID": "ID MAX", "T": "T MAX"}) # 最低温:取每个日期下温度最低的行 min_rows = df_min.loc[df_min.groupby("Date")["T"].idxmin()][["Date", "ID", "T"]].set_index("Date") min_rows = min_rows.rename(columns={"ID": "ID MIN", "T": "T MIN"}) # 按日期索引合并两个子集,自动处理缺失值 df_min_max = pd.concat([max_rows, min_rows], axis=1).reset_index(names="date") # 调整列顺序匹配目标输出 df_min_max = df_min_max[["date", "ID MIN", "T MIN", "ID MAX", "T MAX"]]
- 性能表现:在百万行级别的数据集上,运行速度比原
apply方案快10~100倍 - 边界适配:若同日期存在多个相同极值的记录,
idxmax/idxmin默认返回第一个匹配的行,完全符合“任意返回一个站点即可”的业务规则
方案2:分组透视简化实现(适配中小数据量,代码更紧凑)
如果数据量在十万行以内,可通过分层分组实现更紧凑的聚合逻辑:
# 先按日期、MinMax类型分组,定位每组的极值行 grouped = df.groupby(["Date", "MinMax"]).apply( lambda g: g.loc[g["T"].idxmax() if g.name[1] == "MAX" else g["T"].idxmin()] ).unstack("MinMax") # 扁平化多级列结构,调整列顺序 df_min_max = pd.DataFrame({ "date": grouped.index, "ID MIN": grouped["ID"]["MIN"].values, "T MIN": grouped["T"]["MIN"].values, "ID MAX": grouped["ID"]["MAX"].values, "T MAX": grouped["T"]["MAX"].values }).reset_index(drop=True)
注:该方案仍存在少量Python层apply开销,仅适合中小数据量场景,大规模数据优先选择方案1
内容的提问来源于stack exchange,提问作者mwoua
相关产品推荐
相关产品推荐

