如何在R语言中按组单独移除数据集的异常值？

没问题，咱们可以用dplyr包轻松实现按组移除异常值的需求，这里我以你数据集里的stuff列为例，用最常用的四分位距（IQR）法识别异常值——也就是把小于Q1 - 1.5*IQR或者大于Q3 + 1.5*IQR的数值判定为异常值。

步骤1：加载依赖包 #

首先确保你已安装dplyr，如果没安装先运行安装命令：

install.packages("dplyr")
library(dplyr)

步骤2：按组筛选移除异常值 #

假设你需要按customer、code、year这三个变量的组合分组（你可以根据实际需求调整分组变量），完整代码如下：

# 按组移除stuff列的异常值
vpg_clean <- vpg %>%
  group_by(customer, code, year) %>%
  mutate(
    q1 = quantile(stuff, 0.25, na.rm = TRUE),
    q3 = quantile(stuff, 0.75, na.rm = TRUE),
    iqr = q3 - q1,
    lower_bound = q1 - 1.5*iqr,
    upper_bound = q3 + 1.5*iqr
  ) %>%
  filter(stuff >= lower_bound & stuff <= upper_bound) %>%
  select(-q1, -q3, -iqr, -lower_bound, -upper_bound) %>% # 移除临时计算的辅助列
  ungroup() # 取消分组状态，避免影响后续操作

代码细节解释 #

• group_by(customer, code, year)：指定分组依据，让每个组单独计算异常值阈值
• mutate()：为每个组计算四分位数、IQR以及异常值的上下边界
• filter()：只保留在正常范围内的行，自动剔除异常值
• select(-...)：删掉临时生成的辅助列，让数据集保持整洁
• ungroup()：取消分组标记，避免后续数据操作被分组限制

扩展：批量处理多个数值列 #

如果你的数据集里有多个数值列需要移除异常值，可以用across()函数批量处理，比如同时处理stuff和action列：

vpg_clean_multi <- vpg %>%
  group_by(customer, code, year) %>%
  mutate(across(c(stuff, action), ~{
    q1 <- quantile(.x, 0.25, na.rm = TRUE)
    q3 <- quantile(.x, 0.75, na.rm = TRUE)
    iqr <- q3 - q1
    lower <- q1 - 1.5*iqr
    upper <- q3 + 1.5*iqr
    .x >= lower & .x <= upper
  }, .names = "{.col}_keep")) %>%
  filter(stuff_keep & action_keep) %>%
  select(-ends_with("_keep")) %>%
  ungroup()

这样就能一次性对多个数值列完成按组去异常值的操作啦！

内容的提问来源于stack exchange，提问作者psysky