R处理批量NetCDF数据遇内存不足报错，求优化方案

我需要处理约288个NetCDF文件，提取温度数据后做平均和绘图。作为R语言新手，目前的方法效率极低，处理10个文件没问题，但批量处理时直接报错：

Error: cannot allocate vector of size 92.4 Gb

现有代码：

setwd('path')
# 筛选以grid_T开头的文件
temp = list.files(pattern='grid_T*')

# 一次性打开所有文件并存储为列表
myfiles = lapply(temp,nc_open)

# 创建空的温度数组：维度为1442x398x75x文件数
temperature <- array(dim=c(1442,398,75,length(myfiles)))

# 循环提取数据并关闭文件
for (i in 1:length(myfiles)){
  temperature[,,,i] <- ncvar_get(myfiles[[i]],"votemper")
  cat("File", i,"temperature extracted\n")
  nc_close(myfiles[[i]])
}

优化后的代码 #

setwd('path')
# 筛选目标NetCDF文件
file_list <- list.files(pattern = 'grid_T*')

# 定义要提取的目标区域坐标
target_x <- 940:1009
target_y <- 151:323
target_z <- 1

# 初始化结果数组：仅保留目标区域的维度
result <- array(
  dim = c(length(target_x), length(target_y), length(target_z), length(file_list))
)

# 逐个处理文件：打开→提取目标区域→关闭→存储结果
for (i in seq_along(file_list)) {
  # 打开单个文件
  nc_conn <- nc_open(file_list[i])
  # 提取指定区域的温度数据：使用start和count参数定位目标范围
  result[,,,i] <- ncvar_get(
    nc_conn, 
    varid = "votemper",
    start = c(min(target_x), min(target_y), min(target_z)),
    count = c(length(target_x), length(target_y), length(target_z))
  )
  # 立即关闭文件，释放资源
  nc_close(nc_conn)
  cat("已完成第", i, "个文件处理\n")
}

# 计算时间维度（第4维）的温度平均值
temp_mean <- apply(result, c(1,2,3), mean, na.rm = TRUE)

优化要点解析 #

• 逐个文件操作：不再一次性打开所有288个文件，而是循环中单独打开、处理、关闭单个文件，避免同时占用大量文件句柄和不必要的内存开销。
• 精准提取目标区域：利用ncvar_get的start（起始坐标）和count（提取长度）参数，直接从NetCDF文件中读取指定的x/y/z范围数据，无需加载整个变量到内存。原方案要加载的数组体积是1442×398×75×288，优化后仅为70×173×1×288，内存占用大幅降低，从根本上解决内存溢出问题。

内容的提问来源于stack exchange，提问作者Fish_Person