R语言foreach并行任务完成却无法合并结果的问题求助

在1节点、500GB内存、30核的计算集群上，使用R的foreach::foreach()进行并行分析，集群初始化代码如下：

myCluster <- parallel::makeCluster(28)
doParallel::registerDoParallel(myCluster)

任务耗时约8小时完成，但foreach循环未合并结果，返回空对象lcp_network，循环代码如下：

lcp_network <- foreach::foreach(i = 1:nrow(comps), .errorhandling = "remove", .combine = "rbind", .packages = c("sf", "terra","leastcostpath","dplyr")) %dopar% {
  
  lcp <- leastcostpath::create_lcp(cost_surface = tr1,
                                   origin = nodes_sp[comps[i,1],, drop = FALSE],
                                   destination = nodes_sp[comps[i,2],, drop = FALSE])
  
  lcp$origin_ID <- nodes_sp[comps[i,1],]$layer
  lcp$destination_ID <- nodes_sp[comps[i,2],]$layer

   lcp <- lcp %>%
     st_as_sf() %>%
     mutate(length = st_length(.)) %>%
     st_drop_geometry()

  attributes(lcp$length) <- NULL
  
  return(lcp)
  
}

该代码在8GB内存、8核的个人电脑上处理小数据集时可正常合并结果。添加.verbose参数后报错信息如下：

numValues: 43, numResults: 0, stopped: TRUE
got results for task 1
accumulate got an error result
numValues: 43, numResults: 1, stopped: TRUE
returning status FALSE
got results for task 2
...
returning status FALSE
got results for task 43
numValues: 43, numResults: 43, stopped: TRUE
not calling combine function due to errors
returning status TRUE

已尝试在循环内添加gc()但无效。

补充：在另一同配置服务器运行时出现新错误：

numValues: 43, numResults: 0, stopped: TRUE
Error in unserialize(socklist[[n]]) : error reading from connection
Calls: %dopar% ... recvOneData -> recvOneData.SOCKcluster -> unserialize
Execution halted
slurmstepd: error: Detected 8 oom-kill event(s) in StepId=13251537.batch. 
Some of your processes may have been killed by the cgroup out-of-memory handler.

解决建议 #

1. 优先处理内存溢出问题 #

从补充错误信息看，系统触发了OOM-kill，说明并行进程的内存占用超出了单进程的资源限制，导致进程被杀死，无法返回有效结果，最终foreach因所有任务报错跳过合并步骤：

• 减少并行进程数：将makeCluster(28)调整为makeCluster(10)或更低，降低单节点并发压力，让每个进程分配到更多内存。
• 优化大对象内存占用：检查tr1（成本表面栅格）的大小，若为超大栅格，每个并行进程都会加载一份副本，会瞬间耗尽大量内存。可改用terra的分块处理功能，或把成本表面写入磁盘，让进程按需读取而非全量加载到内存。
• 确认集群资源限制：部分集群会给单个进程设置内存上限，即使总内存充足也会触发限制。可联系管理员确认，或在提交任务时指定单进程内存配额（如Slurm的--mem-per-cpu参数）。

2. 排查循环内的隐性错误 #

.verbose显示所有任务都返回错误，即使设置.errorhandling = "remove"，全量错误也会导致合并结果为空：

• 单独运行单任务代码：选取i=1，直接执行循环体中的代码，检查是否能正常运行、是否有报错。重点验证nodes_sp[comps[1,1],, drop = FALSE]是否为有效空间对象，create_lcp是否能生成结果。
• 显式导出全局变量：在foreach中添加.export = c("tr1", "nodes_sp", "comps")，确保并行进程能正确访问这些全局变量，避免环境传递问题导致错误。
• 逐步简化循环体：先去掉st_as_sf()、mutate等步骤，仅返回create_lcp的基础结果，验证是否能正常合并，逐步定位出错环节。

3. 调整合并策略与错误处理 #

• 修改错误处理方式：将.errorhandling = "remove"改为.errorhandling = "pass"，保留错误信息，便于定位具体问题。
• 更换合并函数：改用.combine = "rbindlist"（需加载data.table包），比rbind更高效，且对数据格式兼容性更好，能处理不同任务返回结果的微小差异。

4. 单任务内存优化 #

在循环体末尾添加rm(lcp); gc()，主动释放单个任务内的内存占用，减少每个并行进程的内存负载。

内容的提问来源于stack exchange，提问作者geoscience123