使用disk.frame仍触发内存限制，求R大数据相关性计算解决方案

你遇到的内存超限本质是18000个变量的皮尔逊相关矩阵为18000×18000的稠密矩阵，单该矩阵就占用约2.5GB内存，叠加计算过程的临时开销就会触发分配上限。你之前使用disk.frame的方案存在逻辑错误：disk.frame默认按行拆分数据集，每个分块仍保留全部18000列，单个分块执行相关性计算时仍需要生成完整的大尺寸相关矩阵，完全没有降低内存开销。

方案1：data.table原生分块计算（无额外依赖，内存可控） #

该方案将变量按列拆分为多组，仅计算两组变量之间的相关系数，结果存储为长表避免生成完整方阵，内存占用可通过调整每组列数灵活控制：

library(data.table)

# 配置参数：每组列数，可根据内存调整，数值越小内存占用越低
group_size <- 2000
all_cols <- names(test_DT)
col_groups <- split(all_cols, ceiling(seq_along(all_cols)/group_size))
n_groups <- length(col_groups)

# 预存结果的列表
res_list <- vector("list", n_groups*(n_groups+1)/2)
idx <- 1

# 遍历所有列组对，仅计算非重复的组间相关
for (i in 1:n_groups) {
  cols_i <- col_groups[[i]]
  mat_i <- as.matrix(test_DT[, cols_i, with=F])
  for (j in i:n_groups) {
    cols_j <- col_groups[[j]]
    mat_j <- as.matrix(test_DT[, cols_j, with=F])
    
    # 计算pairwise.complete.obs的相关系数
    cor_mat <- cor(mat_i, mat_j, use = "pairwise.complete.obs", method = "pearson")
    
    # 计算对应p值（不需要p值可跳过这一步）
    n_obs <- crossprod(!is.na(mat_i), !is.na(mat_j))
    t_stat <- cor_mat * sqrt((n_obs - 2)/(1 - cor_mat^2))
    p_mat <- 2 * pt(-abs(t_stat), n_obs - 2)
    
    # 转为长表存储，仅保留下三角避免重复值
    cor_dt <- melt(as.data.table(cor_mat, keep.rownames = "col1"), 
                   id.vars = "col1", variable.name = "col2", value.name = "r")
    p_dt <- melt(as.data.table(p_mat, keep.rownames = "col1"), 
                 id.vars = "col1", variable.name = "col2", value.name = "p")
    res_dt <- cor_dt[p_dt, on = .(col1, col2)][col1 < col2]
    
    res_list[[idx]] <- res_dt
    idx <- idx + 1
    gc()
  }
}

# 合并所有结果
final_res <- rbindlist(res_list)

方案2：使用bigstatsr包（代码简洁，官方优化分块逻辑） #

bigstatsr专为大内存统计任务设计，内置的big_cor函数自动处理分块逻辑，直接支持pairwise.complete.obs策略：

library(bigstatsr)
library(data.table)

# 将data.table转为FBM（文件备份矩阵，仅在内存中保留当前计算的分块）
test_fbm <- as_FBM(test_DT, backingfile = tempfile("test_cor"))

# 分块计算相关矩阵，自动控制内存
cor_mat <- big_cor(test_fbm, use = "pairwise.complete.obs", ncores = parallel::detectCores()/2)

# 可按需转换格式
# 转为普通矩阵（内存足够时使用）
# cor_full <- cor_mat[]
# 转为长表
cor_dt <- melt(as.data.table(as.matrix(cor_mat), keep.rownames = "col1"),
               id.vars = "col1", variable.name = "col2", value.name = "r")[col1 < col2]

# 清理临时文件
unlink(paste0(test_fbm$backingfile, ".bk"))
unlink(paste0(test_fbm$backingfile, ".rds"))

• 如果不需要p值，方案1可以跳过p值计算步骤，内存占用和速度都会提升50%以上
• 如果最终需要完整的方阵格式，可将长表通过dcast函数转为宽表，或在内存足够时直接提取big_cor返回的完整矩阵
• 方案1的group_size建议设置在1000-3000之间，可根据你的可用内存调整，数值越低内存占用越小

内容的提问来源于stack exchange，提问作者Buzz B