pandas中如何按Beacon列分组基于日期索引计算np.gradient梯度值

现有数据集结构 #

你的数据集索引为日期时间类型，格式如下：

Index        Beacon Average    
    2017-06-10    A18   4.5566
    2017-06-10    B18   5.6694
    2017-06-10    C17   3.7341
    2017-06-15    A18   4.5528
    2017-06-15    B18   5.6663
              ...      ...
    2017-08-16   SB01   3.8360
    2017-08-16   SB02   3.7130
    2017-08-16   SB03   3.5610
    2017-08-16   SB04   3.9790
    2017-08-16   SB05   3.7230

全局计算整列梯度的代码你已经掌握：

df['gradient'] = np.gradient(df['Average'])

但这个方法会把所有Beacon的数据混在一起计算，不符合分组独立计算的需求。

实现代码 #

核心思路是先保证数据按时间顺序排列，再按Beacon字段分组，对每个分组单独计算梯度后映射回原表：

import numpy as np
import pandas as pd

# 第一步：按时间索引升序排序，确保每个分组内的行按时间先后排列
df = df.sort_index()

# 第二步：分组计算梯度，transform会把计算结果按原索引位置匹配回原DataFrame
df['gradient'] = df.groupby('Beacon')['Average'].transform(np.gradient)

特殊场景调整 #

• 如果你的采样时间间隔不是均匀的，不要直接按行序号计算梯度，可以传入时间差作为梯度计算的坐标参数，得到真实的时间维度变化率：

# 非等间隔采样场景：按实际秒级时间差计算梯度
df['gradient'] = df.groupby('Beacon').apply(
    lambda group: np.gradient(
        group['Average'], 
        group.index.astype('int64') // 10**9  # datetime索引转秒级时间戳
    )
).droplevel(0)

• 如果某个Beacon只有1条数据，np.gradient会默认返回0，你可以根据业务需求把这类值替换为空值。

内容的提问来源于stack exchange，提问作者SimonDL