CSV有序数据去重：相邻元素差≤80时移除后项的代码求助

你的需求是处理已排序数组，移除那些和前一个元素差值在80以内的后元素，原代码逻辑混乱导致没效果，下面给你两种可行的解法：

一、纯Python列表解法（直观易懂） #

因为数组已经按升序排序，我们只需要遍历一次数组，保留第一个元素后，后续元素只有和最后一个保留元素的差值大于80时才加入结果列表：

# 假设duplicates_removed_tr_sc是你的已排序列表
filtered_list = []
for num in duplicates_removed_tr_sc:
    # 如果结果列表为空，或者当前元素和最后一个保留元素的差>80，就保留
    if not filtered_list or num - filtered_list[-1] > 80:
        filtered_list.append(num)

# 转成numpy数组（如果需要）
filtered_np = np.array(filtered_list)

二、Numpy高效解法（适合大数据量） #

用numpy的向量操作可以更高效地完成筛选，尤其数据量较大时：

import numpy as np

# 先转成numpy数组
arr = np.array(duplicates_removed_tr_sc)
# 计算相邻元素的差值
diff_arr = np.diff(arr)
# 生成筛选掩码：第一个元素必保留，差值>80的位置对应的元素保留
mask = np.concatenate([[True], diff_arr > 80])
# 应用掩码得到结果
filtered_np = arr[mask]

原代码的问题分析 #

1. 每次循环都把y重新赋值为原数组duplicates_removed_tr_sc，之前的删除操作完全被覆盖，等于白删
2. 嵌套的for x in range(80)完全多余，和你的需求逻辑无关
3. 判断条件用了duplicates_removed_tr_sc[k]== duplicates_removed_tr_sc[n]，是判断元素相等，不是差值≤80，完全不符合需求
4. 删除元素时用del y[k+1]，但数组长度变化后索引会错位，很容易引发索引越界错误

内容的提问来源于stack exchange，提问作者Nasya Hristov