如何在R语言中检测数据框列异常值并移至新数据框

首先，先纠正一个关键细节：你当前的异常值阈值计算函数不符合行业通用的Tukey's fences标准（常规逻辑是Q1 - 1.5×IQR作为下限，Q3 + 1.5×IQR作为上限），你的quantile1函数写成了Q1+IQR，这会导致阈值判断完全偏离预期，先帮你修正阈值计算：

# 修正后的异常值阈值计算函数
quantile_lower <- function(k) { quantile(k, 0.25) - 1.5 * IQR(k) }
quantile_upper <- function(k) { quantile(k, 0.75) + 1.5 * IQR(k) }

# 重新计算各列的上下异常值阈值
lower_outlier <- apply(x, 2, quantile_lower)
upper_outlier <- apply(x, 2, quantile_upper)

任务2：检查各列是否存在超出阈值的数值 #

我们可以用sapply逐列检查是否有数值低于下限或高于上限，返回一个逻辑向量标记每列是否存在异常值：

# 逐列判断是否存在异常值
has_outliers <- sapply(names(x), function(col_name) {
  # 提取当前列的所有值
  col_values <- x[[col_name]]
  # 判断是否有值超出阈值范围
  any(col_values < lower_outlier[col_name] | col_values > upper_outlier[col_name])
})

# 查看结果：TRUE表示该列存在异常值，FALSE则无
print(has_outliers)

运行后你会得到类似这样的输出（根据你的数据集实际情况）：

active inactive  injured    rehab 
  TRUE      TRUE     TRUE     FALSE 

任务3：将存在异常值的列移至新数据框y #

基于上面的has_outliers结果，我们可以提取有异常值的列名，然后创建新数据框y，同时可以选择是否从原数据框x中移除这些列：

# 提取存在异常值的列名
outlier_col_names <- names(has_outliers)[has_outliers]

# 创建新数据框y，包含所有存在异常值的列
y <- x[, outlier_col_names, drop = FALSE]
# 注：drop=FALSE是为了避免当只有1列时自动转为向量，保持数据框格式

# 如果需要从原数据框x中移除这些异常值列（可选操作）
x <- x[, !names(x) %in% outlier_col_names, drop = FALSE]

现在你可以分别查看x和y，确认列的迁移是否正确：

View(x)  # 剩余无异常值的列
View(y)  # 包含所有有异常值的列

补充说明 #

你之前猜测的x <- x[x <= value]这种写法并不适用，因为它会把整个数据框当成一维向量处理，而我们需要逐列独立判断异常值，所以用sapply或apply针对每列操作才是正确的方式。

内容的提问来源于stack exchange，提问作者MT32