如何高效计算pandas DataFrame中活动记录的有效执行时长

以下是兼顾性能和正确性的最优实现路径，全程用pandas向量化操作，200万行数据普通配置机器1-2秒即可跑完：

核心思路 #

有效时长仅统计「started→结束」「resumed→结束」两类区间的时间和，结束状态包含suspended/completed/cancelled，全程避免逐行遍历、自定义函数等慢操作。

实现步骤 #

1. 预处理过滤冗余数据
   • 直接剔除type为event的瞬时记录，减少后续计算量
   • 把timestamp列转为pandas datetime类型，指定格式避免自动识别损耗性能
2. 排序对齐状态
   • 按活动name分组，每组内按timestamp升序排序，保证状态流转顺序正确
3. 向量化匹配起止区间
   • 用shift操作把每个状态的下一条记录时间对齐到当前行，直接筛选有效起止对计算时间差
4. 分组聚合总时长
   • 按活动名求和所有有效区间的时长即可

参考代码 #

import pandas as pd

# 1. 预处理
# 仅保留活动类记录
df = df[df['type'] == 'activity'].reset_index(drop=True)
# 转时间格式，按你实际的时间格式填format参数，比自动识别快很多
df['timestamp'] = pd.to_datetime(df['timestamp'], format='%d/%m/%Y %H:%M:%S')

# 2. 按活动+时间排序，保证状态顺序正确
df = df.sort_values(['name', 'timestamp']).reset_index(drop=True)

# 3. 匹配有效起止对
start_mask = df['state'].isin(['started', 'resumed'])
end_mask = df['state'].isin(['suspended', 'completed', 'cancelled'])
# 把每行的下一行时间对齐到当前行
df['next_time'] = df.groupby('name')['timestamp'].shift(-1)
# 仅保留「当前是开始状态 + 下一行是结束状态」的有效区间
valid_rows = df[start_mask & end_mask.shift(-1, fill_value=False)]
# 计算单区间时长
valid_rows['interval'] = valid_rows['next_time'] - valid_rows['timestamp']

# 4. 按活动汇总总时长
result = valid_rows.groupby('name')['interval'].sum().reset_index()
# 如果需要转成分钟单位可以加这行
# result['duration_minutes'] = result['interval'].dt.total_seconds() / 60

说明 #

如果存在有开始无对应结束的异常活动记录，上述逻辑会自动忽略这类未闭合的区间，符合业务统计规则。

内容的提问来源于stack exchange，提问作者Data Science noob