R中按批次去除ActualValue异常值后计算分组均值与标准差的方法
核心问题排查
你原有代码存在三个可直接修正的问题:
- 列名不匹配:内置数据集的批次列名为
BatcBatchNo,而非BatchNo,直接运行会触发对象不存在的报错 - 分组逻辑错误:连续两次调用
group_by()会覆盖前一层的分组设置,最终仅保留最后一次的分组维度,无法实现按「批次+SetValue」组合分组的需求,需要将两个分组字段写入同一个group_by()参数中 - 缺失异常值处理步骤:未在统计计算前,逐批次完成
ActualValue的异常值剔除
最终实现代码
采用dplyr管道逻辑,以行业通用的1.5倍IQR箱线图准则作为异常值判定规则(全程在组内计算分位数,不依赖全量数据集,完全符合逐批次判定的要求),完整可运行代码如下:
library(dplyr) Output <- data %>% # 建立批次+SetValue的组合分组,所有后续操作均在组内执行 group_by(BatcBatchNo, SetValue) %>% # 组内独立计算异常值上下边界 mutate( q1 = quantile(ActualValue, 0.25, na.rm = TRUE), q3 = quantile(ActualValue, 0.75, na.rm = TRUE), iqr_width = q3 - q1, outlier_lower = q1 - 1.5 * iqr_width, outlier_upper = q3 + 1.5 * iqr_width ) %>% # 过滤组内超出边界的异常值 filter(ActualValue >= outlier_lower, ActualValue <= outlier_upper) %>% # 计算组内最终统计量 summarize( Mean = mean(ActualValue, na.rm = TRUE), SD = sd(ActualValue, na.rm = TRUE), ValidSampleCount = n() )
适配说明
- 若你的异常值判定规则为3倍组内标准差法,仅需替换
outlier_lower和outlier_upper的计算逻辑即可,整体分组-过滤-统计的框架无需调整 - 针对你提供的10条示例数据:
ActualValue取值范围为704-706,计算组内IQR后无超出边界的异常值,最终输出均值为704.9,标准差约为0.5676
内容的提问来源于stack exchange,提问作者SomeCrazyProgrammer
相关产品推荐
相关产品推荐

