Pandas如何截取指定列首次不满足条件前的所有DataFrame行
问题场景
现有以DateTime为索引、包含2个数值列的DataFrame,需要提取充电过程的连续剖面数据,判定规则为:指定列取值大于等于同列前一行取值时保留数据,截取到首次出现不满足该规则的行即停止,直接忽略后续所有数据。
前期尝试使用df.diff() >= 0实现逻辑,但该写法会筛选出全表所有满足非递减规则的行,当数据集规模大、列值存在多次上下波动时,无法实现“截断到首次下降位置”的需求。
示例对比
原始DataFrame数据
X Y 2021-03-26 15:36:40 0.59 8.19 2021-03-26 15:36:50 0.59 8.41 2021-03-26 15:37:00 0.59 8.18 2021-03-26 15:37:10 0.59 8.67 2021-03-26 15:37:20 0.59 8.71
错误逻辑输出(不符合预期)
使用df.diff() >=0筛选后返回了全表所有非递减行,包含了首次下降后再次回升的段:
X Y 2021-03-26 15:36:50 0.59 8.41 2021-03-26 15:37:10 0.59 8.67 2021-03-26 15:37:20 0.59 8.71
期望输出
仅保留首次数值下降前的所有行,后续波动数据全部丢弃:
X Y 2021-03-26 15:36:40 0.59 8.19 2021-03-26 15:36:50 0.59 8.41
实现方案
核心逻辑是先定位指定列首次出现“当前值小于前一行值”的位置,直接截断到该位置之前即可,不需要遍历全表做逐行筛选。
单判定列实现(以Y列为例)
import pandas as pd # 标记Y列所有出现值下降的行 is_decreasing = df['Y'].diff() < 0 # 定位首次下降的行位置,全程无下降则取全表长度 if is_decreasing.any(): first_drop_idx = is_decreasing.idxmax() # 切片保留首次下降行之前的所有数据,排除下降行本身 charge_segment = df.loc[:first_drop_idx].iloc[:-1] else: # 全程无下降直接返回全量数据 charge_segment = df
逻辑说明
df['Y'].diff() < 0逐行计算Y列与前一行的差值,标记所有值下降的行,首行无前序值会返回空值- 布尔序列的
idxmax()方法会直接返回第一个取值为True的行索引,也就是首次出现下降的位置 - 最终切片时通过
iloc[:-1]排除首次下降的那一行,仅保留之前的连续非递减充电段
多判定列扩展
如果需要X、Y列同时满足非递减规则才保留,任意一列出现下降就截断,只需要修改判定条件即可:
# 任意一列出现下降即标记为截断点 is_decreasing = (df[['X','Y']].diff() < 0).any(axis=1) if is_decreasing.any(): first_drop_idx = is_decreasing.idxmax() charge_segment = df.loc[:first_drop_idx].iloc[:-1] else: charge_segment = df
内容的提问来源于stack exchange,提问作者OAP
相关产品推荐
相关产品推荐

