如何在终端并行运行R批量处理任务，缩短多文件处理总耗时？

你需要的效果完全可以实现，无需手动管理多个R会话，单脚本即可通过并行计算框架完成，总耗时可压缩至接近单文件处理时长。

实现步骤 #

1. 安装并行依赖包
   执行以下命令安装跨平台的并行计算工具包：

install.packages("future.apply")

2. 编写batchRun.R脚本
   替换你原有的串行调用代码为并行调用逻辑，完整示例如下：

# 加载并行工具包
library(future.apply)

# 导入自定义处理函数
source('./PathToFunction/load_process_saveFiles.R')

# 配置并行策略：使用多进程模式，进程数根据你的设备资源调整
# 30个文件若CPU、内存充足，可直接设为30，总耗时接近单文件3分钟
plan(multisession, workers = 30)

# 定义所有待处理的文件列表
target_files <- paste0(LETTERS[1:30], ".csv")

# 并行执行每个文件的处理任务
future_lapply(target_files, function(curr_file) {
  load_process_saveFiles(onlyFiles = curr_file)
})

# 执行完成后关闭并行集群，释放资源
plan(sequential)

注意事项 #

• 路径配置：请确保load_process_saveFiles函数内的文件读写路径使用绝对路径，或者相对于脚本执行目录的相对路径，避免子进程工作目录不匹配导致读写失败。
• 资源调整：若设备CPU核心数或内存有限，可适当调低workers参数值，例如8核设备设为workers=8，总耗时约为ceil(30/8)*3=12分钟，仍远快于原串行90分钟的耗时。
• 依赖加载：如果你的处理逻辑依赖其他第三方包，请在load_process_saveFiles函数内部显式调用library()加载对应包，避免子进程找不到依赖函数报错。

最终直接在终端执行Rscript batchRun.R即可自动完成所有并行处理任务。

内容的提问来源于stack exchange，提问作者CoolGuyHasChillDay