运行小型CSV文件时遇内存错误：无法分配72.9 Gb向量

运行以下R代码时触发内存不足错误：

events <- read.csv("C:\\Users\\jsh274\\OneDrive - University of Canterbury\\6. Data\\3. Scvenja_data\\3. Jeniya\\1. Analysis\\Output\\3.1 Precipitation_snow_separation_all_stations\\updated_events_station_id_1316.csv")
Floods_typed <- Flood_typology(Floods = events, n_G = 4, Type_3_min_samplesize = 10)

报错信息：

Error: cannot allocate vector of size 72.9 Gb

关键现象：

• 直接使用内存中已加载的事件数据时，Flood_typology函数可正常运行
• 批量处理多份文件时出现相同错误，仅读取单个文件运行仍报错

1. 优化CSV读取方式 #

read.csv默认会将字符型列转为因子，可能额外占用大量内存。建议改用更高效的读取工具：

• 使用data.table::fread：速度快、内存占用低，自动适配大文件

  library(data.table)
  events <- fread("C:\\Users\\jsh274\\OneDrive - University of Canterbury\\6. Data\\3. Scvenja_data\\3. Jeniya\\1. Analysis\\Output\\3.1 Precipitation_snow_separation_all_stations\\updated_events_station_id_1316.csv")
  

• 使用readr::read_csv：tidyverse生态工具，返回内存效率更高的tibble对象

  library(readr)
  events <- read_csv("C:\\Users\\jsh274\\OneDrive - University of Canterbury\\6. Data\\3. Scvenja_data\\3. Jeniya\\1. Analysis\\Output\\3.1 Precipitation_snow_separation_all_stations\\updated_events_station_id_1316.csv")
  

2. 精简数据结构 #

读取后检查数据结构，删除冗余列、调整数据类型以减少内存占用：

# 查看数据结构，确认冗余列与不合理类型
str(events)
# 删除不必要的列
events <- events %>% select(-c(冗余列名1, 冗余列名2))
# 将大数值类型转为更紧凑的类型（如将double转成integer，需确认无小数）
events$数值列 <- as.integer(events$数值列)

3. 调整R内存限制 #

Windows系统可直接设置R的可用内存上限：

memory.limit(size = 64000) # 设为64GB，根据自身硬件调整

Linux/macOS可在启动R前设置环境变量，或在R中关闭不必要的并行设置：

options(mc.cores = 1) # 避免并行计算占用额外内存

4. 适配函数的数据结构 #

Flood_typology可能对输入数据的类型敏感，尝试将读取的data.frame转为data.table后传入：

events <- as.data.table(events)
Floods_typed <- Flood_typology(Floods = events, n_G = 4, Type_3_min_samplesize = 10)

5. 手动清理内存 #

读取文件前释放无用对象，强制垃圾回收：

rm(list = ls())
gc()

内容的提问来源于stack exchange，提问作者JSS