在Pandas中识别数据间断点并递增event_id的问题排查

问题原因 #

你的代码逻辑存在漏洞：diff_flag在差值<5时设为1、差值>5时设为0，后续用ne()+cumsum()的方式，会在diff_flag从0变回1时（比如第4行到第5行，差值从6变为2）再次触发累加，导致event_id多了一次递增，最终出现不符合预期的3。

修正后的代码 #

import pandas as pd
import numpy as np

# 示例数据
df = pd.DataFrame({
    'id': ['aa', 'aa', 'aa', 'aa', 'aa', 'aa'],
    'data': [2, 4, 6, 12, 14, 15]
})

# 按id分组，计算当前行与前一行data的差值
df['diff'] = df.groupby('id')['data'].diff()

# 标记差值>5的间断点（第一行无前置数据，标记为False）
df['break_point'] = df['diff'] > 5

# 对分组内的间断点做累积求和，再加1得到从1开始的event_id
df['event_id'] = df.groupby('id')['break_point'].cumsum() + 1

# 可选：删除中间辅助列
df = df.drop(['diff', 'break_point'], axis=1)

print(df)

代码逻辑说明 #

1. 计算相邻差值：通过groupby('id')['data'].diff()按用户分组，计算每行data与前一行的差值，第一行差值为NaN。
2. 标记间断点：仅当差值>5时标记为True，明确event_id需要递增的节点。
3. 生成event_id：对分组内的间断点做累积求和，初始累积和为0，加1后得到从1开始的连续event_id。每次遇到间断点（True），累积和加1，后续行自动继承当前值，直到下一个间断点出现。

运行后输出的event_id将完全符合预期：[1,1,1,2,2,2]。

内容的提问来源于stack exchange，提问作者Sangeetha R