基于1分钟时间步的Pandas非连续数据事件划分实现问询

当然可以实现！这在Pandas里是很典型的时间序列分组筛选需求，我来一步步带你完成：

我们需要先识别出连续的1分钟记录段，然后筛选出持续时长≥5分钟的段，最后给这些段分配独立的事件ID并提取对应数据。

假设你的DataFrame名为df，其中包含时间列（比如叫timestamp）和其他数据列。

1. 确保时间列是datetime类型 #

这是处理时间序列的基础，如果你的时间列还不是datetime格式，先转换：

import pandas as pd

# 转换时间列（替换成你实际的列名）
df['timestamp'] = pd.to_datetime(df['timestamp'])

2. 标记连续的记录组 #

通过计算相邻记录的时间差，判断是否属于同一个连续段：

# 计算当前行与上一行的时间差（单位：分钟）
df['time_diff'] = df['timestamp'].diff().dt.total_seconds() / 60

# 当时间差>1分钟时，说明是新组的开始，用cumsum生成组ID
df['group'] = (df['time_diff'] > 1).cumsum()

3. 筛选符合时长要求的组 #

计算每个组的持续时长，筛选出≥5分钟的组：

# 用transform给每行添加所在组的持续时长
df['group_duration'] = df.groupby('group')['timestamp'].transform(
    lambda x: (x.max() - x.min()).total_seconds() / 60
)

# 标记有效事件：仅当组时长≥5分钟时分配事件ID
df['Event'] = df.apply(
    lambda row: f"Event_{row['group']}" if row['group_duration'] >= 5 else None,
    axis=1
)

4. 提取独立事件数据 #

把每个事件的数据单独提取出来，存入列表（每个元素是一个事件的DataFrame）：

# 获取所有唯一的有效事件ID
valid_events = df['Event'].dropna().unique()

# 提取每个事件对应的DataFrame，可按需删除中间辅助列
event_dfs = [df[df['Event'] == event_id].drop(columns=['time_diff', 'group', 'group_duration']) 
             for event_id in valid_events]

假设你的示例数据如下（模拟不连续的1分钟记录）：

运行代码后，df['Event']会被标记为：

• 前6条记录（00:00-00:05，时长5分钟）→ Event_0
• 中间2条记录（00:10-00:11，时长1分钟）→ None
• 最后6条记录（00:20-00:25，时长5分钟）→ Event_2

而event_dfs列表里会包含两个DataFrame，分别对应Event_0和Event_2的数据。

• 如果你的数据中存在重复时间戳，可以先通过df = df.drop_duplicates(subset='timestamp')去重，避免影响时间差计算。
• 如果你更关注“连续记录的数量”（比如≥5条连续记录，对应时长4分钟），可以把判断条件改成group_size >=5，用df.groupby('group')['timestamp'].transform('size')计算组内记录数。

内容的提问来源于stack exchange，提问作者PUJA