Python Pandas 按组计算相邻记录时间差并统计间隔出现频次
Pandas 实现同组相邻时间差频次统计
实现步骤
- 先把时间列转成标准datetime格式,防止后续计算因为类型不对报错
- 按group_id做数据分组,在每个分组内部计算相邻两条记录的时间差,靠groupby的隔离属性,完全不会出现跨组算间隔的问题
- 把算出来的时间差统一换成小时单位,注意跨天的间隔不能直接取小时数做差值,不然会漏掉跨天的累计时长,得通过总秒数换算
- 把每个分组首条记录对应的空值删掉(首条记录没有前面的相邻记录,算出来的间隔是无效空值)
- 统计不同间隔值的出现次数,调整列结构,得到最终的频次表
踩坑提醒
- 算跨天时间差的时候,别直接用
dt.hour算差值,比如当天8点到次日9点,直接算小时差会得到1小时的错值,必须用total_seconds()算总秒数再除以3600,才能得到25小时的准确结果 - 分组算时间差的时候直接用
diff()方法就行,不用手动拼错位的时间序列,Pandas会自动保证计算范围不超出当前分组边界
完整可运行代码
import pandas as pd # 加载示例数据 df = pd.DataFrame({ 'group_id': ['A', 'A', 'A', 'B', 'B'], 'timestamp': [ '2020-09-29 06:00:00 UTC', '2020-09-29 08:00:00 UTC', '2020-09-30 09:00:00 UTC', '2020-09-01 04:00:00 UTC', '2020-09-01 06:00:00 UTC' ] }) # 转换时间列为带UTC时区的datetime类型 df['timestamp'] = pd.to_datetime(df['timestamp'], utc=True) # 组内计算相邻时间差,换算为小时单位 df['delta'] = df.groupby('group_id')['timestamp'].diff().dt.total_seconds() / 3600 # 过滤空值、统计频次、调整输出格式 result = ( df.dropna(subset=['delta'])['delta'] .value_counts() .rename_axis('delta') .reset_index(name='count') .sort_values('delta') .reset_index(drop=True) )
跑出来的结果和示例预期完全一致:
| delta | count |
|---|---|
| 2.0 | 2 |
| 25.0 | 1 |
内容的提问来源于stack exchange,提问作者Roni Gadot
相关产品推荐
相关产品推荐

