基于预计算统计量为箱线图添加异常值的问题解决

一、修复异常值绘图的错误 #

错误原因 #

你遇到的错误是因为geom_point()默认继承了主图层的数据集df（仅3行），但df_outliers2有6行，y美学映射的长度不匹配。选项1能运行只是巧合——df_outliers1刚好也是3行，和主数据行数一致，但这不是正确的用法。

解决方案 #

给geom_point()单独指定异常值数据集，并正确映射x和y字段，不要直接用$引用外部数据：

# 修正后的选项2代码
ggplot(df, aes(x=gene, ymin=zero, lower=twentyfive, middle=fifty, upper=seventyfive, ymax=hundred)) + 
  geom_boxplot(stat='identity') + 
  # 指定data为异常值数据集，正确映射x和y
  geom_point(data=df_outliers2, aes(x=gene, y=value), color="red", size=2) + 
  theme(axis.text.x = element_text(angle = 90, vjust = 0.5, hjust=1))

如果需要用抖动避免点重叠，换成geom_jitter()即可：

geom_jitter(data=df_outliers2, aes(x=gene, y=value), color="red", size=1, width=0.2)

二、大型稀疏矩阵的优化处理方法 #

针对50×800000的dgCMatrix，要避免全量提取数据（会占用大量内存），利用稀疏矩阵的特性高效处理：

1. 高效计算分位数和异常值阈值 #

用sparseMatrixStats::rowQuantiles()直接在稀疏矩阵上计算分位数，无需转换为普通矩阵：

library(Matrix)
library(sparseMatrixStats)

# 假设mat是你的dgCMatrix对象
quantiles <- rowQuantiles(mat, probs = c(0, 0.25, 0.5, 0.75, 1))
df_summary <- data.frame(
  gene = rownames(mat),
  zero = quantiles[, 1],
  twentyfive = quantiles[, 2],
  fifty = quantiles[, 3],
  seventyfive = quantiles[, 4],
  hundred = quantiles[, 5]
)

# 计算异常值阈值（IQR规则）
df_summary$iqr <- df_summary$seventyfive - df_summary$twentyfive
df_summary$lower_thresh <- df_summary$twentyfive - 1.5 * df_summary$iqr
df_summary$upper_thresh <- df_summary$seventyfive + 1.5 * df_summary$iqr

2. 高效提取异常值 #

利用稀疏矩阵的@x属性提取每行的非零值，只筛选超出阈值的元素，避免处理大量零值：

# 批量提取异常值
outliers_list <- lapply(seq_len(nrow(mat)), function(i) {
  # 获取当前行的非零值
  row_values <- mat[i, ]@x
  # 筛选异常值
  outlier_values <- row_values[row_values < df_summary$lower_thresh[i] | 
                                 row_values > df_summary$upper_thresh[i]]
  # 有异常值则返回数据框，否则返回NULL
  if (length(outlier_values) > 0) {
    data.frame(gene = df_summary$gene[i], value = outlier_values)
  } else {
    NULL
  }
})

# 合并为最终的异常值数据框
df_outliers <- do.call(rbind, outliers_list)

3. 最终绘图 #

用前面修正的绘图代码，结合上述生成的df_summary和df_outliers即可完成箱线图+异常值点的绘制。

内容的提问来源于stack exchange，提问作者stellaria