R语言并行化优化咨询：栅格与多要素均值计算提速方案

核心思路 #

把并行逻辑拆成两层，最大化利用可用核心：

• 外层：用mclapply分配核心处理不同的栅格文件
• 内层：对每个栅格，将9000个要素拆分成若干块（比如每3000个一块），再用并行处理这些要素块，把剩余核心用起来

原代码的问题修正与优化点 #

1. 重复加载shapefile：原函数每次执行都读取prueba.SHP，纯浪费IO资源，应该提前加载一次
2. 逐个要素循环低效：terra::extract支持批量处理多个要素，完全没必要逐个循环调用
3. 变量笔误：原代码里d2用到了未定义的d1，应该改成d
4. 低效拼接结果：用c(val,d2)不断扩展向量的方式效率极低，换成列表收集后再合并更高效

修改后的代码 #

library(terra)
library(stringr)
library(dplyr)
library(parallel)

# 提前加载shapefile，避免重复读取浪费资源
g <- terra::vect("prueba.SHP")
total_features <- nrow(g)
# 定义每个要素块的大小，可根据核心数调整，这里按3000个/块拆分
block_size <- 3000
# 把要素索引拆分成多个块
feature_blocks <- split(1:total_features, ceiling(1:total_features / block_size))

# 定义处理单个要素块的函数：计算指定块内要素的加权和（和原逻辑一致）
process_feature_block <- function(block_idx, raster_obj, shp_obj) {
  # 批量提取当前块的要素数据
  d <- terra::extract(raster_obj, shp_obj[block_idx, ], exact = TRUE)
  # 按要素ID分组计算加权和（原逻辑：sum(fraction * 栅格值)）
  d2 <- d %>% 
    group_by(ID) %>% 
    summarize(ss = sum(fraction * .data[[names(raster_obj)]]), .groups = "drop")
  # 按ID排序，保证结果顺序和原要素顺序一致
  d2 <- d2[order(d2$ID), ]
  return(d2$ss)
}

# 定义处理单个栅格的函数
irr <- function(raster_path) {
  ra <- rast(raster_path)
  
  # 控制内层并行的核心数：总核心数减去外层用的核心数（栅格数量）
  # 避免核心过度占用导致性能下降，最低保留1个核心
  inner_cores <- detectCores() - length(list.files(pattern="\\.tif$"))
  if (inner_cores < 1) inner_cores <- 1
  
  # 内层并行处理所有要素块
  block_results <- mclapply(feature_blocks, process_feature_block, 
                            raster_obj = ra, shp_obj = g, 
                            mc.cores = inner_cores)
  
  # 合并所有块的结果，保持要素顺序
  val <- unlist(block_results)
  df <- data.frame("perc_ir_agr" = val)
  
  # 保存结果到CSV
  output_name <- paste(str_sub(raster_path, end=-5), ".csv", sep="")
  write.csv(df, output_name, row.names = FALSE)
  
  return(df)
}

# 外层并行处理所有栅格，核心数设为栅格文件数量（这里是4个）
raster_files <- list.files(pattern="\\.tif$")
ff <- mclapply(raster_files, irr, mc.cores = length(raster_files))

关键说明 #

• 要素拆分逻辑：通过split(1:total_features, ceiling(1:total_features / block_size))把9000个要素拆成3块，如果可用核心更多，可以调小block_size进一步拆分
• 核心数控制：内层核心数设为总核心数减去外层用的核心数，避免同一时间占用过多核心导致系统卡顿
• 批量提取优化：terra::extract直接处理一个要素块，比逐个处理单个要素效率提升明显，再结合并行处理，速度会更快
• 结果顺序保障：每个块处理完后按ID排序，确保最终结果的顺序和原shapefile的要素顺序完全一致

内容的提问来源于stack exchange，提问作者Sss