R语言中大规模矩阵快速过滤行列的高效实现方案

性能瓶颈原因 #

原代码的apply函数是R层面的循环，遍历每行/每列时会产生大量的函数调用开销和对象拷贝，处理百万行级别的矩阵时效率极低。

最快实现方案（基础R，无需额外安装包） #

直接使用R底层C实现的rowSums和colSums函数，避免显式循环，速度比原代码提升10~100倍：

# 计算每行中大于1的元素数量
x_rows <- rowSums(x > 1)
# 计算每列中大于1的元素数量
x_cols <- colSums(x > 1)
# 同时过滤行和列
x_f <- x[x_rows > 5, x_cols > 100]

进一步优化方案 #

稀疏矩阵场景（矩阵中小于等于1的元素占比高） #

用Matrix包处理稀疏矩阵，大幅降低内存占用和计算耗时：

library(Matrix)
# 转换为稀疏矩阵格式
x_sparse <- as(x, "dgCMatrix")
x_rows <- rowSums(x_sparse > 1)
x_cols <- colSums(x_sparse > 1)
x_f <- x_sparse[x_rows > 5, x_cols > 100]
# 如需转回普通矩阵执行 as.matrix(x_f) 即可

极限性能需求 #

用专门优化矩阵运算的matrixStats包，计算效率比基础R的行列求和更高：

library(matrixStats)
x_rows <- rowSums2(x > 1)
x_cols <- colSums2(x > 1)
x_f <- x[x_rows > 5, x_cols > 100]

内存不足场景 #

先过滤行再过滤列，减少中间对象的内存占用：

# 先过滤行
x_rows <- rowSums(x > 1)
x_temp <- x[x_rows > 5, ]
# 对过滤后的小矩阵计算列统计量
x_cols <- colSums(x_temp > 1)
x_f <- x_temp[, x_cols > 100]

内容的提问来源于stack exchange，提问作者pingu87