You need to enable JavaScript to run this app. pandas按user_id分组计算累计停用时长 尝试apply+reduce受阻求方案
优惠活动
大模型
产品
解决方案
定价
更多

pandas按user_id分组计算累计停用时长 尝试apply+reduce受阻求方案

最优实现方案说明

核心结论:完全不需要依赖apply逐行循环、functools.reduce遍历,也不需要引入多重索引增加复杂度,用pandas原生的向量化操作即可实现,效率比逐行实现高1~2个数量级。
你之前参考ActiveRecord写的逐行查找下一个匹配事件的逻辑,本质是关系型数据库的行级遍历思路,和pandas的向量化操作逻辑不匹配,强行套functools.reduce只会把代码写得更复杂,运行效率更低。

实现前置准备

  • 先将时间字段转为pandas可计算的datetime格式
  • 必须按user_id分组、组内按performed_at时间戳升序排序,否则时间顺序错乱会导致计算结果完全错误

分步计算逻辑

  • 相邻事件匹配:按用户分组,用shift(-1)取到每一行同用户的下一条事件的时间、活动类型,不需要逐行查找匹配项
  • 有效区间筛选:仅保留「当前行为deactivated、下一条行为activated」的行,这些行的时间差就是单段停用的时长
  • 按用户聚合求和:将每个用户的所有单段停用时长累加,即为最终的累计停用耗时

可直接运行的代码

import pandas as pd

# 原始事件数据(和示例结构完全一致)
df = pd.DataFrame([
    {"user_id": 1, "activity": "activated", "performed_at": "2020-01-01"},
    {"user_id": 1, "activity": "deactivated", "performed_at": "2020-01-02"},
    {"user_id": 1, "activity": "activated", "performed_at": "2020-01-03"},
    {"user_id": 2, "activity": "deactivated", "performed_at": "2020-01-01 09:00:00"},
    {"user_id": 2, "activity": "activated", "performed_at": "2020-01-01 00:00:00"},
    {"user_id": 3, "activity": "deactivated", "performed_at": "2020-01-01"},
    {"user_id": 3, "activity": "activated", "performed_at": "2020-01-04"},
])

# 1. 预处理:转换时间格式、按用户和事件时间排序
df['performed_at'] = pd.to_datetime(df['performed_at'])
df = df.sort_values(['user_id', 'performed_at']).reset_index(drop=True)

# 2. 组内匹配同用户下一条事件的时间、类型
df[['next_time', 'next_activity']] = df.groupby('user_id')[['performed_at', 'activity']].shift(-1)

# 3. 筛选有效停用区间,计算单段时长(单位:小时)
valid_seg_mask = (df['activity'] == 'deactivated') & (df['next_activity'] == 'activated')
df['segment_duration'] = (df.loc[valid_seg_mask, 'next_time'] - df.loc[valid_seg_mask, 'performed_at']).dt.total_seconds() / 3600

# 4. 按用户聚合得到最终结果,匹配要求的输出格式
result = df.groupby('user_id', as_index=False)['segment_duration'].sum()
result['time_spent_deactivated'] = result['segment_duration'].apply(lambda x: f"{x} hours")
result = result[['user_id', 'time_spent_deactivated']]

用示例数据测试,计算得到用户1的累计停用时长正好为24小时,和预期输出完全匹配。

边界情况说明

  • 若用户最后一条事件为deactivated,没有后续的activated事件,按照上面的逻辑会自动忽略该段时长;如果业务要求计算到数据集的最大时间点,只要用df['next_time'] = df['next_time'].fillna(df['performed_at'].max())填充空值即可
  • 该方案的时间复杂度为O(n),哪怕处理百万行级别的事件数据,也能在秒级完成计算

内容的提问来源于stack exchange,提问作者Dylan Pierce

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.09 20:45:11