如何并行化嵌套lapply代码？（含spatRaster与sf对象操作）

先优化原代码的冗余逻辑，再针对性做并行处理，能最大化运行效率：

步骤1：消除内层冗余循环 #

原代码逐个提取单个IMK_ID的多边形完全没必要，exactextractr::exact_extract可以直接处理整个sf对象，一次性返回所有多边形的统计值，大幅减少不必要的对象创建和IO开销：

library(terra)
library(exactextractr)
library(dplyr)

# 定义单年份处理函数
single_year_process <- function(year, datadir, fields_base) {
  # 读取对应年份的栅格
  year_ras <- rast(paste0(datadir, "/Mark_", year, "_Slut.tif"))
  
  # 直接对整个sf对象提取majority统计值
  majority_vals <- exact_extract(year_ras, fields_base, fun = "majority")
  
  # 拼接结果数据框
  data.frame(
    base_id = fields_base$IMK_ID,
    year_id = year,
    poly_id = majority_vals
  )
}

步骤2：并行化年份循环 #

根据操作系统选择合适的并行实现：

方式1：用furrr（推荐，语法简洁跨平台） #

furrr是purrr的并行扩展，结合future包实现跨平台并行：

library(furrr)

# 设置并行会话，workers设为CPU核心数减1，避免占满资源
plan(multisession, workers = parallel::detectCores() - 1)

# 并行处理所有年份并合并结果
yearStats <- future_map_dfr(year_list, single_year_process, 
                            datadir = datadir, fields_base = fields_base)

# 关闭并行会话
plan(sequential)

方式2：用parallel包（原生基础R） #

• Linux/macOS：用mclapply实现高效并行

library(parallel)
library(dplyr)

n_cores <- detectCores() - 1
# 并行处理年份列表
yearStats_list <- mclapply(year_list, single_year_process, 
                           datadir = datadir, fields_base = fields_base,
                           mc.cores = n_cores)
# 合并所有结果
yearStats <- bind_rows(yearStats_list)

• Windows：用parLapply（需手动初始化集群）

library(parallel)
library(dplyr)

n_cores <- detectCores() - 1
cl <- makeCluster(n_cores)
# 导出所需变量和函数到集群节点
clusterExport(cl, c("datadir", "fields_base", "single_year_process"))
# 在集群节点加载所需包
clusterEvalQ(cl, {library(terra); library(exactextractr); library(dplyr)})

yearStats_list <- parLapply(cl, year_list, single_year_process, 
                            datadir = datadir, fields_base = fields_base)
stopCluster(cl)

yearStats <- bind_rows(yearStats_list)

关键优化说明 #

• 并行粒度选择：按年份并行比按多边形并行更合理，单个年份的栅格处理任务计算量足够大，能抵消并行调度的额外开销。
• 内存控制：保持单任务仅加载单个年份的栅格，避免一次性加载大量栅格导致内存溢出。
• 避免重复操作：原代码内层循环反复subset对象是效率瓶颈，直接处理整个sf对象能减少大量无效操作。

内容的提问来源于stack exchange，提问作者jmutua