R语言中对df.nodup各列剔除异常值报错：维度错误

需求 #

对数据框df.nodup的每一列，剔除小于第25百分位数减1.5倍IQR或大于第75百分位数加1.5倍IQR的异常值（即基于IQR的异常值过滤规则）。

原代码 #

for(i in 1:ncol(df.nodup)) {       # for-loop over columns
  Q <- quantile(df.nodup[ , i], probs=c(.25, .75), na.rm=T)
  iqr <- IQR(df.nodup[ , i])
  df.sig <- subset(df.nodup, df.nodup[ , i] > (Q[ , i][1] - 1.5*iqr) & df.nodup[ , i] < (Q[ , i][2]+1.5*iqr))
}

报错信息 #

Error in Q[, i] : incorrect number of dimensions

样本数据 #

> dput(df.nodup[1:20,1:5])
structure(list(C_1 = c(1.02, 1.02, 0.49, 0.78, 0.66, 0.73, 0.69, 
0.63, 0.71, 0.71, 0.83, 0.87, 0.79, 0.78, 0.63, 0.58, 0.78, 0.72, 
0.73, 0.68), C_2 = c(0.86, 0.71, 0.48, 0.71, 0.62, 0.61, 0.6, 
0.63, 0.61, 0.86, 0.71, 0.92, 0.72, 0.79, 0.5, 0.56, 0.63, 0.59, 
0.63, 0.61), C_3 = c(0.67, 0.87, 0.58, 0.7, 0.64, 0.66, 0.63, 
0.76, 0.63, 0.77, 0.79, 0.96, 0.75, 1.22, 0.61, 0.65, 0.6, 0.79, 
0.64, 0.67), C_4 = c(1.3, 1, 0.75, 1.06, 0.78, 0.88, 0.98, 1.03, 
0.96, 1, 1.01, 1.14, 1.12, 1.01, 0.77, 0.84, 0.97, 0.8, 0.86, 
1.04), D_5 = c(0.73, 0.92, 0.66, 0.71, 0.75, 0.68, 0.65, 0.64, 
0.65, 0.95, 0.8, 1, 0.74, 1.02, 0.55, 0.67, 0.73, 0.75, 0.66, 
0.63)), row.names = c("AAAS", "AAK1", "AAMDC", "AARS", "AASDHPPT", 
"ABCD3", "ABCE1", "ABCF1", "ABHD10", "ABI1", "ACAA1", "ACACA", 
"ACAD9", "ACADVL", "ACBD3", "ACIN1", "ACLY", "ACO1", "ACO2", 
"ACOT7"), class = "data.frame")

问题分析与修正 #

报错原因 #

quantile()函数返回的是一维向量（对应25%和75%两个分位数），而非二维数组。原代码中Q[,i]试图用二维索引访问一维向量，导致维度错误。正确的访问方式是直接用Q[1]（第25百分位数）和Q[2]（第75百分位数）。

另外，原循环每次迭代都会覆盖df.sig，最终仅保留最后一列过滤后的结果，无法实现“每列都剔除异常值”的需求。可根据实际需求选择以下两种修正方案：

方案1：保留所有列均无异常的行 #

如果需要保留同时满足所有列都在正常区间内的行，可先构建所有列的过滤条件，再一次性筛选：

# 初始化条件为所有行都满足
keep_rows <- rep(TRUE, nrow(df.nodup))

for(i in 1:ncol(df.nodup)) {
  Q <- quantile(df.nodup[ , i], probs=c(.25, .75), na.rm = TRUE)
  iqr_val <- IQR(df.nodup[ , i], na.rm = TRUE)
  # 计算当前列的正常区间
  lower <- Q[1] - 1.5 * iqr_val
  upper <- Q[2] + 1.5 * iqr_val
  # 更新保留行：仅保留当前列也在区间内的行
  keep_rows <- keep_rows & (df.nodup[ , i] >= lower) & (df.nodup[ , i] <= upper)
}

# 应用过滤条件
df.sig <- df.nodup[keep_rows, ]

方案2：逐列过滤（保留当前列正常的行，后续列基于此筛选） #

如果需要逐列依次过滤（每一步只保留当前列无异常的行，后续列在已过滤的结果上继续处理），可修改循环如下：

# 初始化df.sig为原始数据
df.sig <- df.nodup

for(i in 1:ncol(df.sig)) {
  Q <- quantile(df.sig[ , i], probs=c(.25, .75), na.rm = TRUE)
  iqr_val <- IQR(df.sig[ , i], na.rm = TRUE)
  lower <- Q[1] - 1.5 * iqr_val
  upper <- Q[2] + 1.5 * iqr_val
  # 基于当前列过滤
  df.sig <- subset(df.sig, df.sig[ , i] >= lower & df.sig[ , i] <= upper)
}

验证 #

用提供的样本数据测试方案1，会发现ACADVL行的C_3值为1.22，超出该列的正常区间（计算得：Q1=0.63，Q3=0.79，IQR=0.16，上限=0.79+1.5*0.16=1.03），因此该行会被剔除。

内容的提问来源于stack exchange，提问作者Anon