从big.matrix移除列触发内存不足错误的解决方法求助

核心问题原因 #

直接执行BigMat[, 5:71]会将选中的列全部加载到内存，7200万行×67列的double类型数据（每个8字节）计算下来约37.6GB，超出内存限制导致报错。big.matrix的子集操作默认返回内存中的普通矩阵，而非磁盘-backed的big.matrix，这是触发问题的关键。

方法1：用deepcopy创建新的磁盘-backed big.matrix #

利用bigmemory包的deepcopy函数，直接在磁盘层面复制指定列，全程不加载全量数据到内存：

library(bigmemory)

# 定义要保留的列索引
keep_cols <- 5:71

# 创建仅包含目标列的新big.matrix，写入独立磁盘文件
BigMatSub <- deepcopy(BigMat, cols = keep_cols,
                      backingfile = "matrix_sub.bin",
                      descriptorfile = "matrix_sub.desc")

该方法直接操作原big.matrix的磁盘文件，仅复制需要的列到新的backing文件，内存占用仅为单块数据处理的开销，不会触发内存溢出。

方法2：针对稀疏矩阵优化（推荐） #

由于你的矩阵是稀疏矩阵，使用bigsparser包转换为稀疏格式的big.matrix后再筛选列，能进一步降低内存占用，且biglasso原生支持该格式：

# install.packages("bigsparser")
library(bigsparser)

# 将原密集big.matrix转换为稀疏磁盘-backed矩阵（仅存储非零值）
sparse_bigmat <- as_SFBM(BigMat, backingfile = "matrix_sparse.bin")

# 筛选目标列，得到新的稀疏矩阵
sparse_bigmat_sub <- sparse_bigmat[, keep_cols]

# 若需转换回标准big.matrix格式（biglasso也可直接用SFBM）
BigMatSub <- as.big.matrix(sparse_bigmat_sub, backingfile = "matrix_sub_sparse.bin")

SFBM（Sparse File-Backed Matrix）专为稀疏大数据设计，磁盘和内存占用远低于密集格式，完美适配你的场景。

验证可用性 #

创建完成后直接传入biglasso即可：

library(biglasso)
fit <- biglasso(x = BigMatSub, y = your_response_vector)

内容的提问来源于stack exchange，提问作者fil0607