如何在R中高效分块读取合并多文件并逐行处理矩阵？

核心思路 #

不一次性加载所有文件到内存，而是逐行打开所有文件的连接，每次仅读取对应行的数据，合并成目标矩阵后直接处理，处理完成即释放该行内存，全程内存占用仅为单组行数据的大小。

具体实现步骤 #

1. 准备文件路径列表：获取所有待处理文件的完整路径。
2. 批量打开文件连接：为每个文件建立可逐行读取的连接，避免重复打开/关闭文件的开销。
3. 逐行循环处理：
   • 对每个行号，从所有文件连接中读取当前行，转换为列向量。
   • 将这些列向量合并为Y×N的矩阵。
   • 传入自定义处理函数进行计算，无需存储所有矩阵（若需保存结果可按需追加）。
4. 关闭所有文件连接：处理完成后释放资源。

代码示例 #

1. 生成测试文件（模拟N=4，Y=10，Z=50的场景）

# 生成单个测试文件
write_test_file <- function(file_path) {
  mat <- matrix(sample(0:2, 50*10, replace = TRUE), nrow = 50, ncol = 10)
  write.table(mat, file = file_path, row.names = FALSE, col.names = FALSE)
}

# 创建4个测试文件
file_paths <- paste0("test_file_", 1:4, ".txt")
lapply(file_paths, write_test_file)

2. 低内存处理代码

library(data.table) # 用fread提升逐行读取效率

# 自定义处理函数（示例：计算矩阵每行的均值）
process_matrix <- function(mat) {
  rowMeans(mat)
}

# 步骤1：获取文件路径
file_paths <- list.files(pattern = "^test_file_.*\\.txt$", full.names = TRUE)
N <- length(file_paths)
Z <- 50 # 已知总行数，若未知可先读取任意文件的行数

# 步骤2：批量打开文件连接
con_list <- lapply(file_paths, function(path) {
  file(path, open = "r")
})

# 步骤3：逐行处理
results <- vector("list", Z) # 若需保存处理结果，可初始化列表
for (i in 1:Z) {
  # 读取所有文件的第i行，转成列向量
  row_data_list <- lapply(con_list, function(con) {
    # fread读取1行，转成数值向量
    as.numeric(fread(con, nrows = 1, header = FALSE, sep = " ", showProgress = FALSE))
  })
  # 合并为Y×N矩阵
  target_mat <- do.call(cbind, row_data_list)
  # 处理矩阵
  results[[i]] <- process_matrix(target_mat)
  # 手动释放当前行内存（可选，R自动垃圾回收，但大场景下可主动触发）
  rm(row_data_list, target_mat)
  gc()
}

# 步骤4：关闭所有连接
lapply(con_list, close)

# 查看处理结果（前3个）
head(results, 3)

关键优化点 #

• 逐行读取：仅加载当前行数据，内存占用仅为Y×N个整数的大小，完全适配超大文件场景。
• 复用文件连接：避免多次打开/关闭文件的IO开销，提升处理速度。
• data.table::fread：比基础read.table更快的逐行读取效率，适合数值型数据。
• 主动内存回收：在大循环中主动释放临时变量，进一步降低内存峰值。

内容的提问来源于stack exchange，提问作者user24869632