使用R的curl包实现Web服务多线程请求的最优方案咨询

关于parallel::mclapply #

• mclapply确实是最省心的入门方案，如果你平时常用apply系列函数，几乎零学习成本。它会直接fork出16个进程，每个进程单独发起curl请求，理论上总耗时能压到10秒左右。但有几个限制：
  • 仅支持类Unix系统（Linux/macOS），Windows下没法用（Windows得用parLapply手动创建集群，步骤繁琐很多）
  • 每个独立进程都会重复加载环境，内存占用会比单进程模式高
  • 本质是本地多进程并行，所有请求还是从你的R运行机器发出，和宿主服务端的处理能力无关——只要宿主能扛住16个并发，就能达到预期耗时

关于curl::curl_fetch_multi #

• 这是更优雅的单进程异步方案，比mclapply更轻量高效：
  • 基于异步IO在单个进程里处理所有请求，不用fork进程，内存占用更低，跨平台兼容性拉满（Windows也能正常用）
  • 代码逻辑清晰，用multi_add批量添加请求，multi_run触发执行，还能自定义回调函数处理返回结果
  • 同样是本地发起请求，但资源利用率更高，适合批量请求场景

关于“宿主服务端并行”的误区 #

你提到的“在宿主服务端实现并行”是个误解：请求是从你的R运行机器发往宿主服务端的，并行发起请求的动作是在本地完成的，宿主服务端只负责接收并处理这些并发请求。只要宿主能扛住16个并发，不管用哪种方案，都能让总耗时接近10秒。

简单代码示例 #

mclapply实现（类Unix系统） #

library(parallel)
library(curl)

# 模拟16组参数对应的请求URL
urls <- paste0("https://your-service.com/api?param=", 1:16)

# 并行发起请求，指定16个核心
results <- mclapply(urls, function(url) {
  curl_fetch_memory(url)
}, mc.cores = 16)

curl_fetch_multi实现（跨平台） #

library(curl)

urls <- paste0("https://your-service.com/api?param=", 1:16)
results <- list()

# 定义回调函数，用于保存每个请求的结果
save_result <- function(res) {
  results[[length(results) + 1]] <<- res
}

# 创建multi handle对象
multi_handle <- new_multi_handle()

# 批量添加请求到multi handle
for (url in urls) {
  req_handle <- new_handle(url = url)
  multi_add(multi_handle, req_handle, done = save_result)
}

# 执行所有异步请求
multi_run(multi_handle)

# 查看结果结构
str(results)

内容的提问来源于stack exchange，提问作者rlh2