如何用Pandas高效查找同日期1秒时间窗口内的事件

你需要从包含事件和时间戳的Pandas DataFrame中，找出同一日期下发生在1秒时间窗口内的多组事件，当前遍历所有1秒窗口的方法效率极低（单日期耗时约10分钟），以下是几个高效的实现方案：

方案一：基于滚动时间窗口（Rolling Time Window） #

核心思路是利用Pandas的时间滚动窗口功能，直接在每个事件的1秒窗口内统计事件数量，无需遍历所有可能的时间窗口：

import pandas as pd

# 确保Timestamp列是datetime类型（如果还不是的话）
df['Timestamp'] = pd.to_datetime(df['Timestamp'])

# 按时间排序（必须步骤，滚动窗口依赖有序数据）
df_sorted = df.sort_values('Timestamp')

# 按日期分组，对每组应用1秒滚动窗口，统计窗口内事件数
df_sorted['window_event_count'] = (
    df_sorted.groupby(df_sorted['Timestamp'].dt.date)['Timestamp']
    .rolling('1s')
    .count()
    .reset_index(level=0, drop=True)
)

# 筛选出窗口内存在多个事件的行
result = df_sorted[df_sorted['window_event_count'] > 1]

# 可选：给每个窗口分配唯一标识，方便后续分组处理
result['window_id'] = (
    result.groupby(result['Timestamp'].dt.date)['Timestamp']
    .transform(lambda x: x.floor('S').astype('str'))
)

该方法时间复杂度接近O(N log N)（主要来自排序），远低于原方案的暴力枚举逻辑，效率会提升几个数量级。

方案二：基于相邻事件时间差 #

如果只需要找出连续发生且间隔≤1秒的事件组，可以通过计算相邻事件的时间差实现，性能最优：

import pandas as pd

df['Timestamp'] = pd.to_datetime(df['Timestamp'])
df_sorted = df.sort_values('Timestamp')

# 按日期分组，计算当前事件与下一个事件的时间差
df_sorted['next_event_diff'] = (
    df_sorted.groupby(df_sorted['Timestamp'].dt.date)['Timestamp']
    .shift(-1) - df_sorted['Timestamp']
)

# 计算当前事件与上一个事件的时间差
df_sorted['prev_event_diff'] = (
    df_sorted['Timestamp'] - df_sorted.groupby(df_sorted['Timestamp'].dt.date)['Timestamp']
    .shift(1)
)

# 筛选出与前/后事件间隔≤1秒的行
result = df_sorted[
    (df_sorted['next_event_diff'] <= pd.Timedelta(seconds=1)) | 
    (df_sorted['prev_event_diff'] <= pd.Timedelta(seconds=1))
]

此方法仅通过两次shift操作完成计算，避免了滚动窗口的额外开销，适合事件量极大的场景。

原方案低效原因 #

原方案遍历了一天中所有86400个1秒窗口，每个窗口都要对全表做一次筛选，属于典型的暴力枚举。而高效方案都是基于事件本身的时间分布处理，只关注实际存在事件的时间点，大幅减少了计算量。

内容的提问来源于stack exchange，提问作者Srinik