如何在R的并行工作进程中直接查找/修改对象

我明白你遇到的痛点了：需要在每个工作进程本地执行高耗时的初始化操作，然后让后续的低耗时任务直接复用这个结果，但用clusterApply尝试多次都没成功，核心问题出在工作进程的环境生命周期上。

为什么你的尝试没生效？ #

PSOCK集群的每个工作进程都是独立的R会话，当你用clusterApply提交任务时，任务函数会在一个临时调用环境里执行——任务结束后，这个临时环境就会被清理，你在里面用MYOBJECT <- y或者assign(..., parent.frame())赋值的对象，都会跟着消失，后续任务根本访问不到。

而你用的clusterExport其实没必要，因为你明确说了初始化操作的结果无法从主进程导出，反而应该让工作进程自己生成并存储到持久环境里。

正确的实现方案 #

要让初始化结果在工作进程中持久化，必须把它存到工作进程的**全局环境（.GlobalEnv）**里——这个环境在工作进程的整个生命周期中都存在，后续任务可以直接访问。

修改你的test2函数如下：

library(parallel)
test2 <- function(){
  # 创建2个工作进程的PSOCK集群
  cl <- makeCluster(2, type='PSOCK')
  
  # 第一步：在每个工作进程执行高耗时初始化，并存到全局环境
  clusterApply(cl, 1:2, function(x) {
    # 这里是仅能在工作进程执行的高耗时操作，无法从主进程导出
    y <- x * 2
    # 把结果存到工作进程的全局环境，用<<-会向上查找直到全局环境
    MYOBJECT <<- y
    # 或者用assign更明确指定环境：
    # assign("MYOBJECT", y, envir = .GlobalEnv)
  })
  
  # 第二步：后续低耗时任务直接访问工作进程全局环境中的MYOBJECT
  result <- clusterApply(cl, 1:2, function(x) {
    MYOBJECT * 0.5
  })
  
  # 别忘了关闭集群，释放资源
  stopCluster(cl)
  
  return(result)
}

# 执行测试，会返回 list(1, 2)
test2()

排查工作进程环境的小技巧 #

你之前的test函数里，用lapply(sys.frames(), ls)看不到MYOBJECT，是因为sys.frames()只返回当前任务的调用链环境，而全局环境不在这个列表里。要查看工作进程的全局环境内容，直接针对.GlobalEnv操作即可：

test <- function(){
  cl <- makeCluster(1, type='PSOCK')
  
  clusterApply(cl, 1, function(x) {
    # 存到工作进程全局环境
    MYOBJECT <<- list('hello')
    assign('MYOBJECT', list('hellohello'), envir = .GlobalEnv)
  })
  
  # 查看工作进程的全局环境
  result <- clusterApply(cl, 1, function(x) {
    list(
      global_env_objects = ls(.GlobalEnv),
      myobject_value = get("MYOBJECT", envir = .GlobalEnv)
    )
  })
  
  stopCluster(cl)
  return(result)
}

test()
# 会返回类似：[[1]]
# $global_env_objects
# [1] "MYOBJECT"
# 
# $myobject_value
# [[1]]
# [1] "hellohello"

关键要点总结 #

• PSOCK工作进程的任务执行在临时环境，任务结束后临时环境会被清理，只有全局环境是持久的。
• 高耗时初始化操作必须在工作进程本地执行，执行后要把结果存到.GlobalEnv才能被后续任务复用。
• 不需要用clusterExport传递初始化结果，因为它本来就该在工作进程里生成。

内容的提问来源于stack exchange，提问作者Charlie