R语言从网站分块读取大文件解决内存分配错误的方法求助

完全可以通过分块导入的方式避免内存分配错误，核心思路是不一次性加载整个文件到内存，而是分批读取、处理数据。以下是两种实用的实现方法：

方法一：使用Base R原生函数分块读取 #

通过file()打开文件连接，结合read.csv()的nrows和skip参数实现分块，步骤如下：

1. 先获取文件总大小，估算每块对应的行数（以10MB为例）
2. 循环读取每块数据，按需处理（比如清洗、分析、写入数据库等）

# 定义目标URL和临时文件路径
url <- "https://people.sc.fsu.edu/~jburkardt/data/csv/hw_200.csv"
temp_file_path <- tempfile(fileext = ".csv")
download.file(url, destfile = temp_file_path, mode = "wb")

# 计算文件总大小（字节），转换为MB
file_size_mb <- file.info(temp_file_path)$size / (1024*1024)
# 假设每行数据平均约100字节，估算10MB对应的行数（可根据实际调整）
avg_row_size <- 100
chunk_rows <- floor(10*1024*1024 / avg_row_size)

# 初始化参数
total_rows <- nrow(read.csv(temp_file_path, nrows = 100)) # 先读少量行估算总行数（可选）
skip <- 0
chunk_num <- 1

# 循环分块读取
while(TRUE) {
  # 读取当前块数据
  chunk_data <- read.csv(temp_file_path, skip = skip, nrows = chunk_rows, stringsAsFactors = FALSE)
  
  # 如果读取的块为空，退出循环
  if(nrow(chunk_data) == 0) break
  
  # 在这里添加你的数据处理逻辑，比如：
  cat(sprintf("处理第%d块，共%d行数据\n", chunk_num, nrow(chunk_data)))
  # 示例：输出前3行
  print(head(chunk_data, 3))
  
  # 更新参数，准备读取下一块
  skip <- skip + nrow(chunk_data)
  chunk_num <- chunk_num + 1
}

方法二：使用readr包的read_csv_chunked（更便捷） #

readr包提供了专门的分块读取函数read_csv_chunked，支持按行数或自定义回调函数处理每块数据，代码更简洁：

# 先安装并加载readr包（如果未安装）
# install.packages("readr")
library(readr)

# 定义目标URL和临时文件路径
url <- "https://people.sc.fsu.edu/~jburkardt/data/csv/hw_200.csv"
temp_file_path <- tempfile(fileext = ".csv")
download.file(url, destfile = temp_file_path, mode = "wb")

# 定义处理每块数据的回调函数（示例：打印块信息并输出前2行）
process_chunk <- function(chunk, chunk_index) {
  cat(sprintf("处理第%d块，共%d行数据\n", chunk_index, nrow(chunk)))
  print(head(chunk, 2))
}

# 按10MB对应的行数分块读取（这里直接指定行数，也可根据文件大小计算）
# 假设每行100字节，10MB约104857行
chunk_rows <- 104857
read_csv_chunked(temp_file_path, callback = DataFrameCallback$new(process_chunk), chunk_size = chunk_rows)

注意事项 #

• 估算每行平均大小时，可以先读取前1000行计算平均字节数，比固定值更准确
• 如果需要整合所有数据（而非分批处理），分块导入意义不大，此时建议优化数据类型（比如将字符型转为因子、数值型用更小的存储类型）或使用数据库存储数据
• 处理超大文件时，优先考虑按需处理每块数据（比如统计聚合、过滤后保存），避免最终将所有数据存入内存

内容的提问来源于stack exchange，提问作者stats_noob