Pandas如何基于跨天时间阈值对DateTime数据执行GroupBy分组

你之前写的df['GroupID'] = (df['EventTimestamp'].diff() >= pd.Timedelta('1T')).cumsum()逻辑本身完全正确，跨天场景失效的核心原因是EventTimestamp字段未被转换为Pandas标准datetime类型，导致差值计算和阈值比较逻辑出错。

正确可复用代码 #

import pandas as pd

# 核心：强制转换时间字段为标准datetime类型，解决跨天/跨月/跨年的时间计算错误
df['EventTimestamp'] = pd.to_datetime(df['EventTimestamp'])

# 可自定义阈值：1分钟传'1T'，5分钟传'5T'，1小时传'1H'
threshold = pd.Timedelta('1T')

# 生成连续递增的GroupID，效果与.ngroup()完全一致
df['GroupID'] = (df['EventTimestamp'].diff() >= threshold).cumsum()

逻辑说明 #

• 该方案天然适配单调递增的时间序列，无论时间跨度覆盖多少天，只要字段为标准datetime类型，diff()计算的相邻时间差都是准确的
• 分组规则完全匹配需求：相邻记录时间差小于阈值时归为同一组，差值超过阈值时自动切分到下一组
• 首行记录的diff()返回NaT，阈值比较时返回False，cumsum后默认归为0组，无需额外处理空值

验证示例 #

构造跨天测试数据运行代码，可以得到符合预期的分组结果：

以上测试数据中，跨天的两条记录差30秒小于1分钟阈值，被分到同一组；后续差1分10秒的记录自动切分为新组，完全符合分组规则。

内容的提问来源于stack exchange，提问作者keynesiancross