如何加速Pandas中按用户分组的rolling diff计算

你的核心需求是计算同一用户当前事件与前一事件的时间戳差值，原方法通过遍历每个用户ID结合rolling(window=2).apply(np.diff)实现，这种方式在用户数量较多时效率极低——因为Python循环会逐组执行操作，没有利用pandas的向量化运算优势。

优化方案：分组+Shift向量化运算 #

直接使用groupby按用户分组，结合shift(1)获取同一用户的前一个事件时间戳，再做减法即可。这是完全的向量化操作，底层由pandas的C实现加速，处理大量数据时速度会有数量级的提升。

完整优化代码

替换原代码中循环计算event_timestamp_diff的部分，其余生成数据的代码保持不变：

import pandas as pd
import numpy as np

# （原数据生成代码保持不变，此处省略）

# 先确保数据按用户、时间戳升序排序（原排序逻辑已包含，此处明确强化）
df.sort_values(['user_pseudo_id', 'event_timestamp'], ascending=[True, True], inplace=True)

# 核心优化：分组后用diff直接计算时间差
df['event_timestamp_diff'] = df.groupby('user_pseudo_id')['event_timestamp'].diff()

# 填充第一个事件的NaN为0（无前置事件，间隔为0）
df['event_timestamp_diff'] = df['event_timestamp_diff'].fillna(0)

关键说明 #

1. 排序的必要性：必须保证每个用户的事件按event_timestamp升序排列，否则shift(1)会取到错误的前置事件。原代码的排序逻辑包含了时间戳升序，这里明确按用户+时间戳排序更严谨。
2. diff()的作用：groupby后的diff()等价于当前值减去shift(1)的值，是df['event_timestamp'] - df.groupby('user_pseudo_id')['event_timestamp'].shift(1)的简写，更简洁高效。
3. 效率对比：对于4万行1万用户的数据，原循环方法可能需要数秒甚至更久，优化后的向量化操作仅需几十毫秒。

内容的提问来源于stack exchange，提问作者jroakes