使用R语言read_csv读取大CSV文件时出现内存空间不足错误

看来你遇到了典型的批量处理内存累积问题——手动单文件能跑，但循环里就触发内存不足，哪怕已经用了rm()。我给你几个针对性的解决方案，按优先级来：

1. 改用高效的分块读取工具 #

基础的read.csv()会一次性把整个文件加载到内存，对大文件极不友好。推荐用专门的大文件处理包，分块读取并处理，避免一次性占满内存：

• 用data.table的fread()：它本身内存效率更高，还支持更灵活的读取逻辑：

library(data.table)
file_list <- c("EMT1.csv", "EMT2.csv", "EMT3.csv", "EMT4.csv", "EMT5.csv", "EMT6.csv")

for (file in file_list) {
  file_path <- paste0("Z:~/AC2561 Images for settings/", file)
  # 高效读取，data.table内存占用比普通data.frame小很多
  dt <- fread(file_path)
  # 执行你的分析逻辑
  your_analysis_function(dt)
  # 强制清理内存
  rm(dt)
  gc() # 触发垃圾回收，释放未被使用的内存
}

• 如果文件超大，用readr的分块回调：只加载部分数据到内存处理，处理完就释放：

library(readr)
# 定义每个分块的处理函数
process_chunk <- function(chunk, pos) {
  # 这里写你的分析代码，比如计算统计量、生成中间结果等
  chunk_result <- your_analysis_logic(chunk)
  # 直接把结果写入外部文件，不用存在内存里
  write_csv(chunk_result, paste0("output_", basename(file)), append = TRUE)
  return(NULL)
}

# 分块读取并处理，chunk_size可根据你的内存情况调整
read_csv_chunked("Z:~/AC2561 Images for settings/EMT1.csv",
                 callback = DataFrameCallback$new(process_chunk),
                 chunk_size = 10000)

2. 修复循环中的内存泄漏问题 #

光是rm()还不够，循环执行速度快，R的自动垃圾回收可能赶不上内存累积的速度，而且如果你的分析代码创建了全局变量或者隐式保存了中间结果，内存根本没真正释放：

• 在循环内部用局部环境隔离变量：

for (file in file_list) {
  # 用局部环境包裹，避免变量泄漏到全局空间
  local({
    df <- read_csv(file)
    result <- analyze_data(df)
    # 处理完直接写入结果文件，不累积在内存
    write_csv(result, paste0("final_output_", basename(file)))
    rm(df, result)
    gc(verbose = FALSE) # 静默触发垃圾回收
  })
}

• 避免用大列表累积结果：如果你的代码是results <- c(results, new_result)，这种方式会让内存越用越多，改成处理一个文件就输出一个独立的结果文件。

3. 检查网络磁盘的额外开销 #

你的文件在Z盘，看起来像是网络映射磁盘？网络磁盘的IO缓存可能会额外占用本地内存，而且读取速度慢也会让内存占用时间变长。试试把所有CSV文件复制到本地硬盘（比如C盘的临时文件夹）再处理，能显著减少内存和IO压力。

4. 调整R的内存限制（Windows系统） #

如果你的电脑有剩余内存没被R利用，可以手动调整内存上限：

# 查看当前内存限制
memory.limit()
# 设置为8GB（根据你的实际内存调整，比如16GB的话可以设12288）
memory.limit(size = 8192)

注意：这个方法治标不治本，核心还是要优化读取和内存管理逻辑。

为什么手动能跑循环不行？ #

手动处理时，你每次处理完会有间隔时间，R的自动垃圾回收会悄悄释放内存；但循环是连续执行的，内存刚被占用就又加载下一个文件，垃圾回收没来得及触发，最终导致内存耗尽。

内容的提问来源于stack exchange，提问作者jesusgarciab