Python实现删除含超2倍标准差异常值的数据集行的方法
代码问题修正与实现方案
现有代码的核心问题
- 统计值计算的返回结构错误:
compute_std和compute_mean函数内部先创建空列表,再把整组逐行计算的结果一次性append到空列表里,最终返回的是两层嵌套的结构(比如3行数据集的结果是[[std1, std2, std3]]),后续取值时根本没法和原数据集X的每行一一对应 - 过滤逻辑完全不匹配嵌套数据集的结构:最后两行直接把整行子列表的对象和统计值做比较,既没有逐元素检查行内是否存在超阈值的异常值,也没有实现“只要行内有一个偏离对应行均值超过2倍标准差的元素,就删除整行”的目标规则
修正后的可运行代码
from math import sqrt def std_dev(lst): # 计算单行标准差 mean = float(sum(lst)) / len(lst) return sqrt(sum((x - mean)**2 for x in lst) / len(lst)) def compute_std(X): # 直接返回逐行计算的标准差列表,去掉多余的嵌套层 return [std_dev(char) for char in X] std_list = compute_std(X) def means(lst): return float(sum(lst)) / len(lst) def compute_mean(X): # 直接返回逐行计算的均值列表,去掉多余的嵌套层 return [means(chars) for chars in X] mean_list = compute_mean(X) # 逐行过滤逻辑 filtered_dataset = [] for row_idx, row in enumerate(X): current_mean = mean_list[row_idx] current_std = std_list[row_idx] # 检查当前行所有元素是否都在2倍标准差范围内 has_outlier = False for value in row: if abs(value - current_mean) > 2 * current_std: has_outlier = True break # 只要找到一个异常值就不用继续检查了 # 没有异常值的行才保留 if not has_outlier: filtered_dataset.append(row)
实现逻辑说明
- 修正了统计值计算的返回结构,直接返回逐行对应的均值、标准差列表,保证第i个统计值和原数据集X的第i行完全匹配,不会出现索引错位
- 逐行遍历原数据集时,按行索引取出对应行的均值、标准差,逐个检查行内每个元素和行均值的偏差:只要找到任意一个元素的偏差超过2倍标准差,就标记当前行为待删除行,直接跳过该行后续的元素检查
- 仅把无任何异常值的行加入最终结果列表
- 代码没有使用复杂的多层嵌套列表推导,每一步的操作都拆分到独立的循环块里,调试时可以直接打印中间变量定位问题
内容的提问来源于stack exchange,提问作者c_collins
相关产品推荐
相关产品推荐

