R语言terra包extract函数内存占用激增问题咨询

可复现代码 #

library(terra)
myfun <- function(x){as.integer(sum(x,na.rm=T))}
f <- system.file("ex/lux.shp", package="terra")
v <- vect(f)
rf <- system.file("ex/elev.tif", package="terra")
x <- rast(rf)
paste0("A: ",memory.size()," MB.")
a <- terra::extract(x, v, myfun, bind=TRUE)
paste0("B: ",memory.size()," MB.")
gc()
paste0("C: ",memory.size()," MB.")

问题描述 #

在示例小数据集场景下，extract执行前后及内存清理后的内存占用差异极小，但使用更大的.tif和.shp文件时，内存占用出现大幅激增（A: 142Mb，B: 14882Mb，C: 143.3MB）。这种情况是否正常？若不正常，能否在extract执行过程中实时清理内存？此外，尝试处理栅格堆栈时，运行数小时后出现内存不足错误。

问题解答 #

1. 大文件下内存激增是否正常？ #

这种情况是正常的。terra::extract处理大矢量和栅格数据时，需要将与矢量要素相交的栅格数据全部加载到内存中完成计算——尤其是当矢量包含大量细碎要素（比如全球范围的小行政区）、栅格分辨率极高时，会一次性加载海量临时数据，导致内存占用激增。小数据集因数据量有限，内存变化不明显；而执行gc()后内存回落至初始水平，说明不存在内存泄漏，只是计算过程中的临时内存占用。

2. 能否在extract执行过程中实时清理内存？ #

extract执行过程中无法实时清理内存，因为计算依赖已加载的临时数据，但可以通过以下方式降低内存压力：

• 移除bind=TRUE参数：如果不需要将汇总结果与原矢量绑定，去掉该参数仅返回汇总值，减少内存存储的数据量。
• 分批次处理矢量数据：将大矢量拆分为多个小批次，循环调用extract，每处理完一批就调用gc()清理内存，最后合并结果。示例代码如下：

# 将矢量拆分为10个批次（可根据实际调整数量）
v_split <- split(v, 1:10)
results <- list()

for (i in seq_along(v_split)) {
  res <- terra::extract(x, v_split[[i]], myfun)
  results[[i]] <- res
  gc() # 每批次处理后清理内存
}

# 合并结果并绑定到原矢量（如果需要）
final_res <- do.call(rbind, results)
v$sum <- final_res[, 2]

• 替换为aggregate方法（场景适配时）：若矢量是栅格的聚合单元，可先将栅格按矢量区域重分类，再执行聚合计算，这种方式内存效率远高于extract。

3. 栅格堆栈内存不足的解决办法 #

处理栅格堆栈时，内存压力会随图层数量成倍增加，可尝试以下方案：

• 逐图层处理：循环遍历堆栈中的每个栅格，单独执行extract，每处理完一层就保存结果并清理内存，避免同时加载所有栅图层。
• 启用磁盘缓存：通过terra::tmpFiles(setwd = "你的临时文件路径")设置临时数据存储目录，让terra将中间数据写入磁盘而非全部占用内存。
• 降低栅格分辨率：若业务允许，先对栅格进行重采样降低分辨率，直接减少数据量。

内容的提问来源于stack exchange，提问作者Toon