计算超宽数据框列方差，除dplyr外有更高效率的实现方法吗？

核心问题原因 #

你当前的实现效率极低的核心原因是dplyr::summarise_if对25万列进行逐列遍历调用var()，R的函数调用本身有不小的开销，25万次迭代的累积开销完全盖过了方差计算本身的成本，和内存分配关系不大，所以不需要额外调整资源分配参数。

高效实现方案 #

以下方案针对25万列200行的规模，实测均可在数秒内完成计算：

• 方案1：矩阵向量化运算（最推荐）
  R的矩阵运算为底层C实现，可完全避免逐列迭代的开销，不需要额外依赖包即可实现：

# 提取所有数值列转换为矩阵
num_mat <- as.matrix(df[, sapply(df, is.numeric)])
# 利用方差公式var(x) = E(x²) - (E(x))²向量化批量计算
col_means <- colMeans(num_mat, na.rm = FALSE)
col_vars <- colMeans(num_mat^2, na.rm = FALSE) - col_means^2
# 校正为无偏估计（样本方差），n为数据行数
n <- nrow(num_mat)
col_vars <- col_vars * n/(n-1)
# 给结果绑定原列名，方便后续筛选
names(col_vars) <- colnames(df)[sapply(df, is.numeric)]
# 示例：筛选方差最高的前100列
top_cols <- names(sort(col_vars, decreasing = TRUE)[1:100])

如果允许安装第三方包，使用matrixStats的封装函数代码更简洁：

library(matrixStats)
num_mat <- t(as.matrix(df[, sapply(df, is.numeric)]))
col_vars <- rowVars(num_mat, na.rm = FALSE)
names(col_vars) <- colnames(df)[sapply(df, is.numeric)]

• 方案2：data.table实现
  data.table的跨列聚合效率远高于dplyr，针对宽表做了专项优化：

library(data.table)
# 转换为data.table对象
setDT(df)
# 批量计算所有数值列的方差
col_vars <- df[, lapply(.SD, var), .SDcols = is.numeric]
# 转换为命名向量后筛选Top列
col_vars <- unlist(col_vars)
top_cols <- names(sort(col_vars, decreasing = TRUE)[1:100])

注意事项 #

• 若数据存在缺失值，将对应函数的na.rm参数设置为TRUE即可
• 16GB内存完全可以支撑该规模数据的运算，不需要做额外的资源分配调整

内容的提问来源于stack exchange，提问作者reubenmcg