如何高效处理NumPy数组：保留元素差值超阈值数据并优化性能

原代码的核心问题 #

你写的while循环效率极低，主要原因是：

• 每次调用np.delete都会生成新的数组，200万行数据下，频繁的内存复制会消耗大量时间
• 逻辑上没有完全实现"重复处理直到无符合条件元素"的需求（删除中间元素后，新的相邻元素可能再次满足差值<10，但原代码不会回头检查）

最优解决方案：贪心遍历+批量筛选 #

其实你的需求可以用一次遍历+索引收集的贪心方式实现，不需要重复循环，时间复杂度仅为O(n)，处理200万行数据会快很多。

核心思路：从第一个元素开始，只保留与上一个保留元素差值绝对值≥阈值的元素，自动完成"重复删除"的效果（比如示例[59,55,56,23]，会直接保留59，跳过55、56，最后保留23，结果和预期一致）。

代码实现：

import numpy as np

amplitude_limit = 10

# 初始化保留的索引，第一个元素必保留
keep_indices = [0]
last_kept_val = SG1_stress[0]

# 遍历数组收集符合条件的索引
for idx in range(1, len(SG1_stress)):
    current_val = SG1_stress[idx]
    if abs(current_val - last_kept_val) >= amplitude_limit:
        keep_indices.append(idx)
        last_kept_val = current_val

# 转换为NumPy索引数组，批量筛选结果
keep_indices = np.array(keep_indices)
SG1_stress_filtered = SG1_stress[keep_indices]
time_list_filtered = time_list[keep_indices]

备选方案：批量标记法（适合复杂场景） #

如果需要严格模拟"重复删除直到无符合条件元素"的过程（虽然贪心方法已经等价，但某些特殊场景可能需要），可以用批量标记的方式，避免逐个删除：

import numpy as np

amplitude_limit = 10

# 初始化掩码，标记哪些元素保留，初始全为True
keep_mask = np.ones(len(SG1_stress), dtype=bool)
keep_mask[0] = True
changed = True

while changed:
    # 获取当前保留的元素索引
    kept_indices = np.where(keep_mask)[0]
    if len(kept_indices) <= 1:
        break  # 只剩一个元素，无需继续
    
    # 计算相邻保留元素的差值
    diffs = np.abs(SG1_stress[kept_indices[1:]] - SG1_stress[kept_indices[:-1]])
    # 找到需要删除的元素索引（差值小于阈值的后一个元素）
    to_remove = kept_indices[1:][diffs < amplitude_limit]
    
    if len(to_remove) == 0:
        changed = False
    else:
        keep_mask[to_remove] = False

# 批量筛选结果
SG1_stress_filtered = SG1_stress[keep_mask]
time_list_filtered = time_list[keep_mask]

这个方案的效率也远高于原代码，因为每次都是批量标记，只在最后一次筛选时复制数据。

内容的提问来源于stack exchange，提问作者user25306850