如何用Pythonic方法在pd.DataFrame中标记连续恒定值序列？

我明白你想要的效果：把所有属于至少n个连续相同值的元素标记为True，其他为False。你之前的方法通过对比前后n/2个点的差值，逻辑上有漏洞——比如连续序列的边缘元素（比如第1个和最后1个）没法满足和前后n/2个点都相同的条件，而且all/any的判断也不符合我们要找“整个连续块长度达标”的需求。

正确的实现思路 #

我们可以通过给连续相同值的块分组，再判断块长度来实现：

1. 为每个连续相同值的序列分配唯一ID；
2. 计算每个序列的长度；
3. 标记出长度≥n的序列中的所有元素。

完整代码示例 #

import pandas as pd
import numpy as np

n = 5 # 连续恒定值的最小数量
# 创建示例DataFrame
df=pd.DataFrame(np.random.randn(25), index=pd.date_range(start='2010-1-1',end='2010-1-2',freq='H'), columns=['value'])
# 修改DataFrame，生成多组连续恒定值
df.loc['2010-01-01 01:00:00':'2010-01-01 09:00:00', 'value'] = 23
df.loc['2010-01-01 20:00:00':'2010-01-02 00:00:00', 'value'] = 10
df.loc['2010-01-01 15:00:00':'2010-01-01 16:00:00', 'value'] = 15

# 步骤1：生成连续相同值的分组ID
df['group_id'] = df['value'].ne(df['value'].shift()).cumsum()
# 步骤2：计算每个分组的长度
df['group_length'] = df.groupby('group_id')['value'].transform('size')
# 步骤3：标记符合条件的行
df['is_continuous'] = df['group_length'] >= n

# 输出你需要的结果列
print(df['is_continuous'])

运行结果 #

2010-01-01 00:00:00    False
2010-01-01 01:00:00     True
2010-01-01 02:00:00     True
2010-01-01 03:00:00     True
2010-01-01 04:00:00     True
2010-01-01 05:00:00     True
2010-01-01 06:00:00     True
2010-01-01 07:00:00     True
2010-01-01 08:00:00     True
2010-01-01 09:00:00     True
2010-01-01 10:00:00    False
2010-01-01 11:00:00    False
2010-01-01 12:00:00    False
2010-01-01 13:00:00    False
2010-01-01 14:00:00    False
2010-01-01 15:00:00    False
2010-01-01 16:00:00    False
2010-01-01 17:00:00    False
2010-01-01 18:00:00    False
2010-01-01 19:00:00    False
2010-01-01 20:00:00     True
2010-01-01 21:00:00     True
2010-01-01 22:00:00     True
2010-01-01 23:00:00     True
2010-01-02 00:00:00     True
Freq: H, Name: is_continuous, dtype: bool

这个结果完全符合你的预期！

为什么之前的方法不适用？ #

• 你的方法只检查了当前点和前后n/2个点的差值，没法覆盖到连续序列的边缘元素（比如连续5个值的第一个元素，它的前一个值不同，所以delta_1不为0，导致result_1为False）；
• result_1要求所有差值都为0，只有连续序列的中间部分能满足，边缘会被漏掉；
• result_2只要有一个差值为0就标记，会把很多单个相同值的元素误标记，不符合“至少n个连续”的要求。

内容的提问来源于stack exchange，提问作者Najmeh Kaffashzadeh