Python中批量删除DataFrame内diff=-1后30分钟/30行数据的方法

针对需求——批量处理所有diff列等于-1的情况，支持按时间范围或行数删除后续数据，以下是两种场景的实现方案：

一、按30分钟时间范围删除 #

原代码仅处理了第一个触发点，我们需要遍历所有diff=-1的时间点，标记每个点之后30分钟内的行并删除：

实现步骤： #

1. 确保Timestamp列是datetime类型（如果还未转换）
2. 获取所有触发点（diff=-1）的时间及对应的结束时间（+30分钟）
3. 创建掩码标记需要保留的行，排除所有触发区间内的数据

import pandas as pd
from datetime import timedelta

# 确保Timestamp为datetime类型（若未转换）
df12_3['Timestamp'] = pd.to_datetime(df12_3['Timestamp'])

# 获取所有diff=-1的触发时间点
trigger_times = df12_3.loc[df12_3['diff'] == -1, 'Timestamp']
# 计算每个触发点30分钟后的结束时间
end_times = trigger_times + timedelta(minutes=30)

# 初始化保留掩码：默认所有行都保留
keep_mask = pd.Series(True, index=df12_3.index)

# 遍历每个触发区间，标记需要删除的行
for start, end in zip(trigger_times, end_times):
    # 标记该时间范围内的行为"不保留"
    drop_mask = (df12_3['Timestamp'] >= start) & (df12_3['Timestamp'] <= end)
    keep_mask = keep_mask & ~drop_mask

# 得到处理后的DataFrame
df_filtered_time = df12_3[keep_mask]

大型DataFrame优化方案（避免循环）：

如果你的DataFrame数据量极大，用向量化操作替代循环可以大幅提升效率：

# 将时间转为numpy数组，用广播快速判断每行是否在删除区间内
times = df12_3['Timestamp'].values[:, None]
start_array = trigger_times.values
end_array = end_times.values

# 判断每行是否属于任意一个删除区间
in_drop_interval = ((times >= start_array) & (times <= end_array)).any(axis=1)
df_filtered_time_fast = df12_3[~in_drop_interval]

二、按30行范围删除 #

如果需要删除触发行（diff=-1）之后的30行（包含触发行本身），实现如下：

# 获取所有diff=-1的行索引
trigger_indices = df12_3[df12_3['diff'] == -1].index

# 初始化保留掩码
keep_mask_rows = pd.Series(True, index=df12_3.index)

# 遍历每个触发索引，标记需要删除的行范围
for idx in trigger_indices:
    # 计算删除范围：从触发索引到之后30行，若超出DataFrame长度则取到末尾
    drop_range = range(idx, min(idx + 31, len(df12_3)))
    keep_mask_rows.loc[drop_range] = False

# 得到处理后的DataFrame
df_filtered_rows = df12_3[keep_mask_rows]

注意： #

• 如果只需要删除触发行之后的30行（不包含触发行），将drop_range改为range(idx+1, min(idx+31, len(df12_3)))即可
• 处理大型DataFrame时，尽量使用向量化操作（如时间优化方案），避免循环带来的性能损耗

内容的提问来源于stack exchange，提问作者lourew