使用R的furrr包并行计算时，如何为各进程预先完成API认证？

我太懂这种重复认证的低效痛点了！其实借助furrr底层的future框架，我们可以让每个工作进程在启动时就一次性完成认证，不用每次任务都重复跑认证逻辑。

核心思路 #

plan()函数的startup参数可以指定每个工作进程启动时要执行的初始化代码。我们把认证逻辑放到这里，让6个worker进程在启动阶段就各自完成认证，后续处理任务时直接复用已有的认证状态即可。

修改后的示例代码 #

library(tidyverse)
library(furrr)

# 配置并行计划，同时指定每个worker启动时执行认证
plan(multiprocess, 
     workers = 6,
     startup = {
       # 这里放你的实际认证代码，每个worker启动时仅执行一次
       api.configure(username = "username", password = "password")
     })

testdf = starwars %>% 
  select(-films, -vehicles, -starships) %>% 
  future_pmap_dfr(.f = function(...){ 
    # 移除重复认证，直接处理业务逻辑
    currentrow = tibble(...)
    l = tibble(name = currentrow$name, height = currentrow$height)
    return(l)
  })

关键细节说明 #

1. startup参数的作用：startup中的代码会在每个worker进程创建完成、开始处理任务前执行一次。因为每个worker是独立的进程，所以各自的认证状态会被保存在进程内部，后续该worker处理的所有任务都能直接复用。
2. 避免重复执行：一定要把api.configure从future_pmap_dfr的任务函数里移除，否则又会回到每次迭代都认证的老路。
3. 认证状态的保留：如果你的api.configure会生成认证令牌（比如存在全局变量或环境变量中），worker进程会持续保留这个状态，后续调用API时会自动使用已认证的身份。

如果你的认证信息需要动态传递（比如不同worker用不同账号），也可以把参数作为全局变量传递给worker，不过固定认证信息直接写在startup里就足够高效了。

内容的提问来源于stack exchange，提问作者Courvoisier