R语言并行读取多TXT文件可行性咨询：优化Shiny应用加载时长

当然可以通过并行读取来替代顺序读取，这绝对是解决你Shiny应用加载耗时问题的有效手段！因为顺序读取时，每个文件的IO操作都要等前一个完成，而并行读取可以同时处理多个文件的IO，把总耗时压缩到接近单个最大文件的读取时间（当然还要考虑系统IO带宽的限制）。

下面给你几个实用的实现方案，都是R里常用的并行处理方式：

方案1：用parallel包的mclapply（适合Linux/macOS） #

parallel是R的基础包（无需额外安装），mclapply通过fork子进程实现并行，在类Unix系统下效率很高。

先把要读取的文件路径整理成列表，再用mclapply批量读取：

library(parallel)

# 整理所有需要读取的文件路径
file_paths <- c(
  '/srv/samba/share/SAP data/_zmrosales_ship_month.txt',
  '/srv/samba/share/SAP data/_zmrosales_ship_year.txt',
  # 继续添加其他文件路径即可
)

# 设置并行进程数（建议留1个核心给系统，避免过载）
num_cores <- detectCores() - 1

# 并行读取所有文件
raw_data_list <- mclapply(file_paths, function(path) {
  read.delim(path, fill = TRUE)
}, mc.cores = num_cores)

# 将列表中的数据分配到对应变量（保持你原来的变量命名习惯）
Shipments_Raw <- raw_data_list[[1]]
ShipmentsYear_Raw <- raw_data_list[[2]]
# 其他文件按顺序对应分配即可

方案2：用future+furrr（跨平台，推荐Shiny使用） #

如果你的Shiny部署在Windows系统，或者想要更灵活的并行控制，future+furrr的组合更合适——它支持多种并行后端，在Shiny中兼容性更好。

先安装并加载依赖包：

install.packages(c("future", "furrr"))
library(future)
library(furrr)

再设置并行策略并读取文件：

# 选择跨平台支持的multisession策略，设置进程数
plan(multisession, workers = detectCores() - 1)

# 整理文件路径
file_paths <- c(
  '/srv/samba/share/SAP data/_zmrosales_ship_month.txt',
  '/srv/samba/share/SAP data/_zmrosales_ship_year.txt'
)

# 并行读取文件
raw_data_list <- future_map(file_paths, ~read.delim(.x, fill = TRUE))

# 分配变量
Shipments_Raw <- raw_data_list[[1]]
ShipmentsYear_Raw <- raw_data_list[[2]]

方案3：用foreach+doParallel #

这也是常用的并行循环方案，适合习惯foreach语法的用户：

install.packages(c("foreach", "doParallel"))
library(foreach)
library(doParallel)

# 注册并行集群
cl <- makeCluster(detectCores() - 1)
registerDoParallel(cl)

file_paths <- c(
  '/srv/samba/share/SAP data/_zmrosales_ship_month.txt',
  '/srv/samba/share/SAP data/_zmrosales_ship_year.txt'
)

# 并行读取文件
raw_data_list <- foreach(path = file_paths, .packages = "utils") %dopar% {
  read.delim(path, fill = TRUE)
}

# 关闭集群（避免资源泄漏，这步很重要）
stopCluster(cl)

# 分配变量
Shipments_Raw <- raw_data_list[[1]]
ShipmentsYear_Raw <- raw_data_list[[2]]

Shiny应用中的关键注意事项 #

• 不要在UI函数里做并行操作：所有数据读取和处理都要放在server函数内部，或者在Shiny启动前完成（如果文件不实时更新，可以提前读取缓存）。
• 控制进程数：别把所有CPU核心都占满，留1-2个给系统和Shiny的其他服务，防止服务器卡顿。
• 缓存优化：如果这些TXT文件不是实时更新的，可以用shiny::reactivePoll或者cachem包缓存读取后的数据，不用每次用户打开应用都重新读取。
• IO带宽限制：你的文件存在共享磁盘（samba），并行读取的速度提升可能受限于网络IO带宽，必要时可以把文件复制到本地磁盘后再读取，进一步优化速度。

你可以用system.time()对比顺序和并行读取的耗时，验证优化效果：

# 测试顺序读取耗时
system.time({
  Shipments_Raw <- read.delim('/srv/samba/share/SAP data/_zmrosales_ship_month.txt', fill = TRUE)
  ShipmentsYear_Raw <- read.delim('/srv/samba/share/SAP data/_zmrosales_ship_year.txt', fill = TRUE)
})

# 测试并行读取耗时
system.time({
  # 放入你选择的并行读取代码
})

内容的提问来源于stack exchange，提问作者Kevin