如何在R中编写通用函数获取数据框各列异常值并移除

Hey Neil，我刚好能帮你解决这个逐个处理异常值的麻烦！下面是一个通用的R函数，能自动处理DataFrame里所有数值型变量的异常值，还会输出每个变量的异常值列表，最后返回清理好的数据框。

首先先把数据读进来：

Clean_Data <- read.csv('http://ucanalytics.com/blogs/wp-content/uploads/2016/09/Regression-Clean-Data.csv')

这个函数用IQR四分位距法（行业常用的异常值检测方法）来识别异常值，会自动跳过非数值型变量，同时输出每个变量的异常值，最后移除所有包含异常值的行：

clean_outliers <- function(df) {
  # 筛选出所有数值型列
  numeric_cols <- sapply(df, is.numeric)
  df_numeric <- df[, numeric_cols]
  
  # 用来存储每个变量的异常值报告
  outlier_summary <- list()
  
  # 遍历每个数值型变量
  for (col in colnames(df_numeric)) {
    # 计算四分位数和IQR范围
    q1 <- quantile(df_numeric[[col]], 0.25, na.rm = TRUE)
    q3 <- quantile(df_numeric[[col]], 0.75, na.rm = TRUE)
    iqr_val <- q3 - q1
    lower_limit <- q1 - 1.5 * iqr_val
    upper_limit <- q3 + 1.5 * iqr_val
    
    # 筛选当前变量的异常值
    current_outliers <- df_numeric[[col]][df_numeric[[col]] < lower_limit | df_numeric[[col]] > upper_limit]
    
    # 保存到报告列表
    outlier_summary[[col]] <- current_outliers
    
    # 打印当前变量的异常值信息
    cat("变量", col, "的异常值：\n")
    if (length(current_outliers) == 0) {
      cat("无异常值\n\n")
    } else {
      print(current_outliers)
      cat("\n")
    }
  }
  
  # 标记所有无异常值的行（只要某行在任意变量有异常，就标记为要移除）
  keep_rows <- rep(TRUE, nrow(df))
  for (col in colnames(df_numeric)) {
    q1 <- quantile(df_numeric[[col]], 0.25, na.rm = TRUE)
    q3 <- quantile(df_numeric[[col]], 0.75, na.rm = TRUE)
    iqr_val <- q3 - q1
    lower_limit <- q1 - 1.5 * iqr_val
    upper_limit <- q3 + 1.5 * iqr_val
    
    keep_rows <- keep_rows & !(df_numeric[[col]] < lower_limit | df_numeric[[col]] > upper_limit)
  }
  
  # 生成清理后的数据集
  cleaned_df <- df[keep_rows, ]
  
  # 返回结果：包含异常值报告和清理后的数据
  return(list(outlier_report = outlier_summary, cleaned_data = cleaned_df))
}

调用函数后，你可以分别拿到异常值报告和清理好的数据：

# 运行函数
clean_result <- clean_outliers(Clean_Data)

# 获取最终清理后的数据集
final_clean_data <- clean_result$cleaned_data

# 如果需要查看详细的异常值列表，可以调用这个
clean_result$outlier_report

• 如果你想改用Z-score法（比如把绝对值大于3的Z-score值视为异常），只需要替换异常值检测的逻辑就行，比如计算每个值的Z-score，然后筛选绝对值>3的。
• 当前函数是移除任何变量存在异常值的行，如果你的需求是针对每个变量单独移除（即只删该变量异常的行，其他变量保留），可以告诉我，我再帮你调整逻辑——不过这种情况可能会导致不同变量的样本量不一致，后续分析要注意哦。

内容的提问来源于stack exchange，提问作者Neil