使用Terra并行重缩放大栅格文件遇错，求解决方案

一、解决foreach并行处理时的"NULL value passed as symbol address"错误 #

该错误多源于并行进程中terra对象的序列化异常，或是依赖包未正确加载，可通过以下方案修复：

• 强制并行进程加载terra包：在foreach调用中添加.packages="terra"参数，确保每个子进程都能调用栅格处理工具，示例：

processed_tiles <- foreach(i = 1:length(tiles_list), .packages = "terra") %dopar% {
  rescale_function(tiles_list[[i]])
}

• 传递文件路径而非SpatRaster对象：先将切片后的瓦片保存为本地临时文件，并行进程通过文件路径读取栅格，规避R对象跨进程序列化的问题：

# 保存切片瓦片到本地
tile_paths <- lapply(seq_along(tiles_list), function(i) {
  path <- paste0("temp_tile_", i, ".tif")
  writeRaster(tiles_list[[i]], path, overwrite = TRUE)
  path
})

# 并行读取文件路径处理
processed_paths <- foreach(i = seq_along(tile_paths), .packages = "terra") %dopar% {
  r <- rast(tile_paths[i])
  # 执行重缩放逻辑
  q5 <- global_q5 # 提前基于完整栅格计算的全局5%分位数
  q95 <- global_q95 # 提前基于完整栅格计算的全局95%分位数
  r[r <= q5] <- 0
  r[r >= q95] <- 1
  mask <- (r > q5) & (r < q95)
  r[mask] <- (r[mask] - q5)/(q95 - q5)
  # 保存处理后的瓦片
  out_path <- paste0("processed_tile_", i, ".tif")
  writeRaster(r, out_path, overwrite = TRUE)
  out_path
}

• 过滤空瓦片对象：检查切片后的瓦片列表，移除可能存在的NULL元素，避免传递空对象到并行进程：

tiles_list <- Filter(Negate(is.null), tiles_list)

• 改用terra原生并行工具：terra的lapply/app函数自带并行支持，比foreach更适配栅格对象，示例：

terra::useCores(4) # 指定并行核心数
processed_tiles <- lapply(tiles_list, rescale_function)

二、解决VRT合并内存占用高的问题 #

VRT本身是虚拟栅格，但构建或后续操作可能触发全量加载，可通过以下方式优化：

• 直接合并为物理栅格文件：放弃VRT，用terra::merge直接将处理后的瓦片合并为单个磁盘文件，全程不加载完整数据到内存：

# 读取所有处理后的瓦片
processed_rasts <- rast(processed_paths)
# 合并并写入磁盘
merge(processed_rasts, filename = "final_rescaled.tif", overwrite = TRUE)

• 用GDAL命令行构建VRT：如果必须使用VRT，调用系统命令gdalbuildvrt手动构建，比R函数更高效，且可指定参数减少内存开销：

# 调用系统命令生成VRT
system("gdalbuildvrt -srcnodata -9999 final.vrt processed_tile_*.tif")
# 读取生成的VRT
vrt_rast <- rast("final.vrt")

• 调整切片大小：避免将栅格切得过小，减少瓦片总数，降低VRT元数据的处理压力，可根据内存情况调整makeTiles的瓦片尺寸参数。

关键注意事项 #

• 全局计算分位数：必须基于原始完整栅格计算5%和95%分位数，不能单瓦片单独计算，否则重缩放后的结果会出现不一致的断层。
• 清理临时文件：并行处理后及时删除临时瓦片文件，释放磁盘空间。

内容的提问来源于stack exchange，提问作者LittleXQ