You need to enable JavaScript to run this app. Pandas如何按id及5分钟时间间隙拆分DataFrame并分组
优惠活动
大模型
产品
解决方案
定价
更多

Pandas如何按id及5分钟时间间隙拆分DataFrame并分组

实现方案

基于你已经写的delta标记逻辑,只需要补2行核心代码就能匹配你要的拆分规则,不需要写循环逐行判断。
核心逻辑很简单:只要遇到以下两种情况,就判定为新分组的起点:

  • 当前记录的id和上一条记录的id不一样
  • 当前记录和同id上一条的时间差超过5分钟(也就是你已经标记的delta=True)

因为pandas里布尔值True等价于1、False等价于0,对这些起点标记做累计求和,就能自动给每条记录打上所属的连续分组编号,之后按编号拆分即可。这个方法是完全向量化的运算,哪怕百万行规模的数据运行效率也很高。

完整可运行代码

import pandas as pd

# 你已有的预处理流程
df = pd.DataFrame({
    'id': ['a','a','a','a','a','a','b','b','b','b','b','b','b','b','b'],
    'event_time': ['2020-10-21 01:00:34','2020-10-21 01:03:13','2020-10-21 01:05:13','2020-10-21 01:11:25','2020-10-21 01:12:25','2020-10-21 01:13:25','2020-10-21 01:21:25','2020-10-21 01:30:25','2020-10-21 01:31:25','2020-10-21 01:32:20','2020-10-21 01:33:25','2020-10-21 01:34:12','2020-10-21 01:40:00','2020-10-21 01:41:48','2020-10-21 01:42:15']
})
df.event_time = pd.to_datetime(df.event_time)
df['delta'] = df.groupby('id').event_time.diff() > pd.to_timedelta('00:05:00')

# 核心分组逻辑
# 标记所有新组触发点:id切换 或 时间差超阈值
new_group_trigger = (df['id'].ne(df['id'].shift())) | (df['delta'])
# 累计求和生成分组编号
df['group_id'] = new_group_trigger.cumsum()

# 拆分为独立的子DataFrame
split_groups = [sub_df.reset_index(drop=True) for _, sub_df in df.groupby('group_id')]

效果对应关系

跑通后一共会拆出5个独立DataFrame,和你画分隔线的分组效果完全一致:

  • 第1组:归属id=a,对应原表0-2行,时间范围01:00:34 到 01:05:13
  • 第2组:归属id=a,对应原表3-5行,时间范围01:11:25 到 01:13:25
  • 第3组:归属id=b,对应原表第6行,时间点01:21:25
  • 第4组:归属id=b,对应原表7-11行,时间范围01:30:25 到 01:34:12
  • 第5组:归属id=b,对应原表12-14行,时间范围01:40:00 到 01:42:15

注意点

  • 运行前请确保数据已经按id、event_time升序排序,若存在乱序,时间差计算和分组位置判断都会出错
  • 首行的边界不需要额外处理:因为shift()取上一行值时,首行的对比值是NaN,pandas会自动把不等判断的结果设为True,刚好把首行识别为第一个组的起点
  • 临时生成的group_id列如果不需要,用完直接删除即可,不影响原有数据

内容的提问来源于stack exchange,提问作者Shlomi Schwartz

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.03 15:57:04