如何批量删除DataFrame中对应正负差值间的行（支持大数据集）

针对你描述的场景——删除成对异常值（如5与-5、300与-300）之间的所有行，且适配百万级数据量，推荐用pandas矢量化操作实现，避免循环迭代导致的性能瓶颈，具体步骤如下：

核心思路 #

利用异常值的成对模式：正异常值（diff>1，因为正常范围是0-1）作为区间起点，对应的负异常值（diff=起点值的相反数）作为区间终点，标记这两个点之间（含起点终点）的所有行并删除。

代码实现 #

import pandas as pd

# 假设你的数据集是df，包含diff列
# 1. 标记异常区间的起点：diff超出正常范围上限
df['is_start'] = df['diff'] > 1

# 2. 填充区间内的起点值：将起点的diff值向下填充到后续行，直到遇到终点
df['start_val'] = df['diff'].where(df['is_start'])
df['start_val'] = df['start_val'].ffill()

# 3. 标记异常区间的终点：diff等于起点值的相反数
df['is_end'] = df['diff'] == -df['start_val']

# 4. 标记所有需要删除的行：处于区间内、起点、终点的行
df['in_block'] = df['is_start'].cumsum() - df['is_end'].cumsum() > 0
df['to_drop'] = df['in_block'] | df['is_start'] | df['is_end']

# 5. 删除标记行，清理临时列
df_clean = df[~df['to_drop']].drop(columns=['is_start', 'start_val', 'is_end', 'in_block', 'to_drop'])

性能说明 #

• 所有操作均为pandas矢量化运算，基于C语言底层实现，处理百万级数据仅需几秒（具体取决于硬件配置）。
• 全程无需循环遍历每一行，彻底避免了Python循环的性能损耗。

注意事项 #

• 若存在未成对的异常值（如只有正异常没有对应负异常），代码会将从该起点到数据结尾的所有行标记为待删除，若需处理这种情况，可额外添加逻辑检查每个起点是否有对应的终点。
• 若异常值的判断条件（如diff>1）需要调整，只需修改is_start的定义即可适配不同场景。

内容的提问来源于stack exchange，提问作者user3323130