如何优化R语言拆分14GB大TXT文件的代码？

针对你14GB大文件拆分的需求，原代码用read.table速度慢是完全在意料之中的——这个函数是为小文件设计的，在处理超大型文本时效率极低。哪怕调整了chunk size，也很难解决本质问题。下面给你两套经过验证的高效优化方案，都是针对大数据场景专门设计的：

方案一：用data.table的极速读写工具（推荐） #

data.table的fread和fwrite是目前R里处理大文件速度最快的工具之一，比base R的函数快几十倍甚至上百倍。你之前试过fread没解决问题，大概率是没用到正确的分块读取方式：

library(data.table)

# 替换成你的大文件路径
db_path <- "your_14gb_file.txt"
# 拆分的每块行数（你要的100万行）
chunk_size <- 1e6
file_index <- 1

# 先读取一次表头，避免重复处理
col_names <- colnames(fread(db_path, nrows = 1, sep = ";", header = TRUE, fill = TRUE))

# 循环分块读取并写入
repeat {
  # 计算当前块的起始行（跳过表头，所以从第2行开始计数）
  start_row <- (file_index - 1) * chunk_size + 2
  end_row <- file_index * chunk_size + 1
  
  # 用fread读取指定范围的行，fill=TRUE处理可能的行格式不一致
  data_chunk <- fread(
    cmd = paste0("sed -n ", start_row, ",", end_row, "p ", db_path),
    sep = ";",
    header = FALSE,
    col.names = col_names,
    fill = TRUE
  )
  
  # 如果读取不到数据，说明文件已处理完
  if (nrow(data_chunk) == 0) break
  
  # 用fwrite写入，速度远快于write.table；控制是否写入表头（仅第一个文件写）
  fwrite(
    data_chunk,
    file = paste0("file", file_index, ".txt"),
    sep = ";",
    row.names = FALSE,
    col.names = (file_index == 1)
  )
  
  cat(paste("已生成文件", file_index, "，写入", nrow(data_chunk), "行\n"))
  file_index <- file_index + 1
  
  # 如果当前块行数小于设定值，说明是最后一块
  if (nrow(data_chunk) < chunk_size) break
}

优化点说明： #

• 极速读写：fread/fwrite基于C++实现，流式处理大文件，内存占用极低
• 系统命令辅助：用sed直接提取指定行，比R内部的skip参数更高效，避免重复扫描文件
• 表头复用：只读取一次表头，减少重复操作的开销

方案二：用readr的分块读取功能 #

如果你不习惯data.table，可以用tidyverse生态下的readr，它的分块读取同样高效：

library(readr)

db_path <- "your_14gb_file.txt"
chunk_size <- 1e6
file_index <- 1

# 定义每个chunk的处理函数：写入文件
write_chunk <- function(chunk, pos) {
  global_index <- get("file_index", envir = .GlobalEnv)
  write_delim(
    chunk,
    paste0("file", global_index, ".txt"),
    delim = ";",
    col_names = (global_index == 1),
    na = ""
  )
  assign("file_index", global_index + 1, envir = .GlobalEnv)
  return(NULL)
}

# 启动分块读取
read_delim_chunked(
  db_path,
  delim = ";",
  callback = DataFrameCallback$new(write_chunk),
  chunk_size = chunk_size,
  col_names = TRUE,
  fill = TRUE
)

额外提速建议： #

1. 指定列类型：如果提前知道70列的类型（字符串c、双精度d），可以在读取时通过col_types参数指定，避免R自动推断类型的开销，比如：

   col_types <- paste0(rep("c", 30), rep("d", 40)) # 假设前30列是字符串，后40是双精度
   

2. 用SSD存储：机械硬盘的读写速度会成为瓶颈，尽量在SSD上操作
3. 关闭不必要的选项：比如不要开启stringsAsFactors（默认已经关闭），减少内存占用

内容的提问来源于stack exchange，提问作者j_3265