Pandas如何基于时间阈值使用GroupBy实现时间数据分组

Pandas 原生GroupBy没有直接传入时间阈值做连续分组的内置参数，不需要找对应API，通过生成分组边界标记的方式即可实现需求，最终可以正常调用.ngroup()生成连续的GroupID。

核心实现步骤 #

• 先将EventTimestamp字段转换为标准datetime类型，按时间升序排序重置索引，避免乱序导致分组错误
• 计算相邻记录的时间差，标记时间差超过1分钟的分组边界，对边界标记做累计求和得到临时分组键
• 基于临时分组键做分组，调用.ngroup()生成最终的GroupID列

可直接运行的代码 #

import pandas as pd

# 时间字段类型转换 + 排序
df['EventTimestamp'] = pd.to_datetime(df['EventTimestamp'])
df = df.sort_values('EventTimestamp').reset_index(drop=True)

# 生成分组边界，累计求和得到临时分组标记
df['_tmp_group'] = df['EventTimestamp'].diff().gt(pd.Timedelta(minutes=1)).cumsum()

# 生成连续GroupID
df['GroupID'] = df.groupby('_tmp_group').ngroup()

# 删除临时列
df = df.drop(columns='_tmp_group')

规则说明 #

• 上述代码默认分组规则：相邻两条记录时间间隔不超过1分钟即归为同组，是事件流分段场景的常规规则。举个例子：记录A和B差30s，B和C差40s，即使A和C总间隔70s，三条记录也会被分到同一组。
• 如果你的需求是同组内所有记录和组内第一条记录的间隔不超过1分钟，替换成分组标记生成逻辑即可，参考代码：

group_serial = 0
ref_ts = df.loc[0, 'EventTimestamp']
group_list = []
for ts in df['EventTimestamp']:
    if ts - ref_ts > pd.Timedelta(minutes=1):
        group_serial += 1
        ref_ts = ts
    group_list.append(group_serial)
df['GroupID'] = group_list

补充说明 #

你提到的merge_asof阈值参数是用于两表近邻关联场景的，适合匹配距离当前时间点最近的其他表数据，不适合单表连续分段分组场景，上述向量化实现的运行效率远高于通过merge_asof绕路实现的方案，十万级以上数据量也可以快速出结果。

内容的提问来源于stack exchange，提问作者keynesiancross