如何提取指定列值连续相同达到指定行数要求的目标数据行
从数据表中提取指定列连续同值达阈值的行(pandas实现)
规则说明
针对结构化表格数据,当指定列的某段连续相同取值的行数达到预设阈值时,提取该连续区间内的全部数据行。本次测试场景的筛选规则为:针对x列,连续相同值的行数超过5行时,提取该区间的所有行。
原始测试数据
x x2 0 5 5 1 4 5 2 10 6 3 10 5 4 10 6 5 10 78 6 10 89 7 10 78 8 10 98 9 10 8 10 10 56 11 60 45 12 10 65
实现步骤
- 导入pandas库,构造上述原始数据为DataFrame结构
import pandas as pd df = pd.DataFrame({ "x": [5,4,10,10,10,10,10,10,10,10,10,60,10], "x2": [5,5,6,5,6,78,89,78,98,8,56,45,65] }) - 执行核心筛选逻辑
# 标记连续同值的分组ID consec_group = (df["x"] != df["x"].shift()).cumsum() # 筛选分组行数>5的所有行,重置索引匹配输出格式 result = df[consec_group.groupby(consec_group).transform("count") > 5].reset_index(drop=True)
逻辑解释
- 逐行对比当前行与上一行的x列取值,取值发生变化时标记为新分组,避免被其他值打断的同值行被误判为连续段
- 通过累计求和标记值,为每一段连续同值的行分配唯一的分组ID
- 对每个分组统计总行数,将行数满足阈值条件的分组内所有行保留,最后重置索引即可得到规整的输出结果
输出结果
运行上述代码得到的结果与预期完全一致:
x x2 0 10 6 1 10 5 2 10 6 3 10 78 4 10 89 5 10 78 6 10 98 7 10 8 8 10 56
自定义调整方式
- 修改判断条件里的
>5为目标数值,即可适配不同的连续行数阈值要求 - 把代码里的
df["x"]替换为其他列名,即可实现针对任意列的连续同值筛选
内容的提问来源于stack exchange,提问作者Nickel
相关产品推荐
相关产品推荐

