pandas按user_id分组计算累计停用时长 尝试apply+reduce受阻求方案
最优实现方案说明
核心结论:完全不需要依赖apply逐行循环、functools.reduce遍历,也不需要引入多重索引增加复杂度,用pandas原生的向量化操作即可实现,效率比逐行实现高1~2个数量级。
你之前参考ActiveRecord写的逐行查找下一个匹配事件的逻辑,本质是关系型数据库的行级遍历思路,和pandas的向量化操作逻辑不匹配,强行套functools.reduce只会把代码写得更复杂,运行效率更低。
实现前置准备
- 先将时间字段转为pandas可计算的datetime格式
- 必须按
user_id分组、组内按performed_at时间戳升序排序,否则时间顺序错乱会导致计算结果完全错误
分步计算逻辑
- 相邻事件匹配:按用户分组,用
shift(-1)取到每一行同用户的下一条事件的时间、活动类型,不需要逐行查找匹配项 - 有效区间筛选:仅保留「当前行为
deactivated、下一条行为activated」的行,这些行的时间差就是单段停用的时长 - 按用户聚合求和:将每个用户的所有单段停用时长累加,即为最终的累计停用耗时
可直接运行的代码
import pandas as pd # 原始事件数据(和示例结构完全一致) df = pd.DataFrame([ {"user_id": 1, "activity": "activated", "performed_at": "2020-01-01"}, {"user_id": 1, "activity": "deactivated", "performed_at": "2020-01-02"}, {"user_id": 1, "activity": "activated", "performed_at": "2020-01-03"}, {"user_id": 2, "activity": "deactivated", "performed_at": "2020-01-01 09:00:00"}, {"user_id": 2, "activity": "activated", "performed_at": "2020-01-01 00:00:00"}, {"user_id": 3, "activity": "deactivated", "performed_at": "2020-01-01"}, {"user_id": 3, "activity": "activated", "performed_at": "2020-01-04"}, ]) # 1. 预处理:转换时间格式、按用户和事件时间排序 df['performed_at'] = pd.to_datetime(df['performed_at']) df = df.sort_values(['user_id', 'performed_at']).reset_index(drop=True) # 2. 组内匹配同用户下一条事件的时间、类型 df[['next_time', 'next_activity']] = df.groupby('user_id')[['performed_at', 'activity']].shift(-1) # 3. 筛选有效停用区间,计算单段时长(单位:小时) valid_seg_mask = (df['activity'] == 'deactivated') & (df['next_activity'] == 'activated') df['segment_duration'] = (df.loc[valid_seg_mask, 'next_time'] - df.loc[valid_seg_mask, 'performed_at']).dt.total_seconds() / 3600 # 4. 按用户聚合得到最终结果,匹配要求的输出格式 result = df.groupby('user_id', as_index=False)['segment_duration'].sum() result['time_spent_deactivated'] = result['segment_duration'].apply(lambda x: f"{x} hours") result = result[['user_id', 'time_spent_deactivated']]
用示例数据测试,计算得到用户1的累计停用时长正好为24小时,和预期输出完全匹配。
边界情况说明
- 若用户最后一条事件为
deactivated,没有后续的activated事件,按照上面的逻辑会自动忽略该段时长;如果业务要求计算到数据集的最大时间点,只要用df['next_time'] = df['next_time'].fillna(df['performed_at'].max())填充空值即可 - 该方案的时间复杂度为O(n),哪怕处理百万行级别的事件数据,也能在秒级完成计算
内容的提问来源于stack exchange,提问作者Dylan Pierce
相关产品推荐
相关产品推荐

