如何基于数组元素间差异移除异常值？代码问题求助

你的代码存在几个关键问题，导致要么没删除值要么全删：

• 遍历逻辑错误：for i in data是逐行遍历数组元素而非索引，i+1会把当前行的所有数值加1，而非取下一行数据，完全偏离了“和下一个元素比较”的需求。
• 语法与取值错误：3( * data[:,2])是非法写法，正确应为3 * ...；且你应该使用当前元素对应的不确定度（对应行的第3列），而非整个不确定度列。
• 删除维度错误：axis=1是删除列，但异常值是行数据，需用axis=0删除行。
• 提前返回：循环第一遍就执行return，函数根本没完成所有行的检查。

修正后的实现 #

用numpy向量化操作高效完成异常值检测，避免循环错误：

import numpy as np

def remove_outliers(data):
    # 计算相邻元素数值的差值绝对值
    diffs = np.abs(data[:-1, 1] - data[1:, 1])
    # 取当前元素的3倍不确定度
    three_sigma = 3 * data[:-1, 2]
    # 找出触发异常条件的下一行索引（若你想删除当前行，去掉末尾的+1即可）
    outlier_indices = np.where(diffs > three_sigma)[0] + 1
    # 删除异常行
    return np.delete(data, outlier_indices, axis=0)

说明 #

• data[:-1,1]取除最后一行外所有行的数值列，data[1:,1]取除第一行外所有行的数值列，两者相减直接得到所有相邻元素的差值。
• 若你的异常值定义是“删除触发条件的当前元素”，则把outlier_indices的+1去掉即可。
• 向量化操作比循环更高效，也避免了遍历元素时的逻辑错误。

内容的提问来源于stack exchange，提问作者smithers