使用mclapply/parallel并行运行igraph shortest_paths时触发复制问题

优先方案：利用igraph的多起点原生支持 #

igraph的shortest_paths函数本身支持传入多个起点（from参数接受向量），无需手动并行，完全避免内存复制问题，且内部实现更高效：

result <- shortest_paths(my_graph, from = origin_nodes, to = target_nodes)

必须并行时的优化方案 #

如果起点数量极大，单进程处理效率不足，可通过以下方式避免图对象的重复复制：

1. 确保Copy-On-Write（COW）机制正常生效 #

• 将my_graph放在全局环境，并行函数中仅做读取操作，绝对不修改图对象
• 锁定图对象防止意外修改触发复制：

  lockBinding("my_graph", .GlobalEnv)
  

• 禁用igraph内部缓存，避免隐性操作触发复制：

  igraph.options(igraph.cache = FALSE)
  

2. 分组减少并行线程数 #

将起点列表分组，用较少的线程处理每组起点，降低内存复制的叠加压力：

# 将origin_nodes分成20组，对应20个线程
origin_groups <- split(origin_nodes, cut(seq_along(origin_nodes), 20))
result_list <- mclapply(origin_groups, function(group) {
  shortest_paths(my_graph, from = group, to = target_nodes)
}, mc.cores = 20)

3. 用future框架优化共享内存复用 #

使用future包的多核并行，复用worker进程并确保图对象以共享方式传递：

library(future)
plan(multicore, workers = 20)
result_list <- future_lapply(origin_nodes, function(on) {
  shortest_paths(my_graph, on, target_nodes)
}, globals = list(my_graph = my_graph), persistent = TRUE)

persistent = TRUE让worker进程复用，减少重复加载对象的开销。

4. 磁盘-backed只读图加载 #

将图存储到磁盘，每个worker进程读取只读副本，适合内存极度紧张但IO性能足够的场景：

# 先将图写入磁盘
write_graph(my_graph, "large_graph.graphml", format = "graphml")
# 并行时每个worker读取只读图
result_list <- mclapply(origin_nodes, function(on) {
  g <- read_graph("large_graph.graphml", format = "graphml", mode = "read")
  shortest_paths(g, on, target_nodes)
}, mc.cores = 20)

内容的提问来源于stack exchange，提问作者MGN