基于pandas groupby结果筛选DataFrame,获取设备每日指标最大值对应小时
Pandas分组取最大值对应行解决方案
你此前使用的groupby.max()仅会返回指定字段的最大值,不会关联该最大值所在行的其他字段,因此无法获取对应的小时数据,可参考以下两种场景的实现方案:
方案1:单最大值场景(每个分组仅存在1个最大值)
适用每个设备每日metric_1仅出现一次最大值的情况,通过idxmax()直接获取最大值对应的行索引,提取整行数据:
# 按设备+日期分组,取metric_1最大值对应的行索引 max_idx = df.groupby(['ID_1', 'ID_2', 'date'])['metric_1'].idxmax() # 从原表提取对应行,包含小时字段 max_hour_df = df.loc[max_idx, ['ID_1', 'ID_2', 'date', 'hour', 'metric_1']].reset_index(drop=True)
后续统计小时分布直接调用值计数即可:
hour_dist = max_hour_df['hour'].value_counts().sort_index()
方案2:多最大值场景(同一分组存在多个小时均为最大值)
如果同一设备同一天有多个小时的metric_1均为最大值,需要全部保留的场景,用transform生成分组最大值做过滤:
# 新增临时列,存储每个设备每日的metric_1最大值 df['group_max'] = df.groupby(['ID_1', 'ID_2', 'date'])['metric_1'].transform('max') # 过滤出所有等于最大值的行 max_hour_df = df[df['metric_1'] == df['group_max']][['ID_1', 'ID_2', 'date', 'hour', 'metric_1']].reset_index(drop=True) # 删除临时列,避免污染原表 df.drop('group_max', axis=1, inplace=True)
如果需要同时处理metric_2、metric_3等多个指标,遍历指标名批量执行上述逻辑即可。
内容的提问来源于stack exchange,提问作者pandaMe_victim
相关产品推荐
相关产品推荐

