R语言并行读取多sheet Excel时%>%运算符报错的解决方法

错误原因 #

%>%是dplyr包提供的管道运算符，你在主R环境中加载了dplyr，但并行计算的worker节点运行在独立环境中，默认不会继承主环境的已加载包，因此找不到该运算符。此外代码中用到的fill()函数来自tidyr包，同样需要在worker环境中加载。

修复方案及优化代码 #

方案1：通过foreach参数指定worker需加载的包 #

直接在foreach函数中用.packages参数声明worker需要加载的包，无需在循环体内重复调用library()：

library(foreach)
library(doParallel)
library(readxl)
library(dplyr)
library(tidyr)

# 设置并行核心数
num_cores <- 4  
cl <- makeCluster(num_cores)
registerDoParallel(cl)

# 直接通过foreach返回结果，避免跨环境赋值无效问题
int_data <- foreach(sheet_name = sheet_names, .packages = c("readxl", "dplyr", "tidyr")) %dopar% {
  print(sheet_name)
  
  df <- readxl::read_excel(excel_file, sheet = sheet_name, col_names = FALSE)
  df <- as.data.frame(t(df))
  
  no_dates <- nrow(df)
  dates <- rev(seq(as.Date("2024-01-01"), by = "-1 day", length = no_dates))
  
  df <- cbind(df, dates)
  colnames(df) <- c("int_rate", "date")
  
  merged_df <- merge(df, references_int[, c("Symbol", "Market", "Name")], by.x = "int_rate", by.y = "Symbol", all.x = TRUE)
  merged_df <- merged_df %>%
    arrange(date) %>%
    fill(c(Market, Name), .direction = "down")
  
  merged_df <- merged_df[complete.cases(merged_df), ]
  
  this_name <- unique(merged_df$Market)
  indicator_name <- unique(merged_df$Name)
  this_elem <- paste(this_name, indicator_name, sep="_")
  
  merged_df <- merged_df[-1, -c(3, 4)]
  merged_df$int_rate <- as.numeric(merged_df$int_rate)
  colnames(merged_df) <- c(indicator_name, "date")
  
  # 返回命名的列表元素，方便后续合并
  setNames(list(merged_df), this_elem)
}

# 将foreach返回的嵌套列表合并为一个大列表
int_data <- do.call(c, int_data)

stopCluster(cl)
registerDoSEQ()

方案2：提前在所有worker节点统一加载包 #

如果循环次数多，用clusterEvalQ在创建集群后一次性给所有worker加载所需包，避免重复加载的开销：

library(foreach)
library(doParallel)
library(readxl)
library(dplyr)
library(tidyr)

num_cores <- 4  
cl <- makeCluster(num_cores)
# 给所有worker节点批量加载包
clusterEvalQ(cl, {
  library(readxl)
  library(dplyr)
  library(tidyr)
})
registerDoParallel(cl)

int_data <- foreach(sheet_name = sheet_names) %dopar% {
  print(sheet_name)
  
  df <- readxl::read_excel(excel_file, sheet = sheet_name, col_names = FALSE)
  df <- as.data.frame(t(df))
  
  no_dates <- nrow(df)
  dates <- rev(seq(as.Date("2024-01-01"), by = "-1 day", length = no_dates))
  
  df <- cbind(df, dates)
  colnames(df) <- c("int_rate", "date")
  
  merged_df <- merge(df, references_int[, c("Symbol", "Market", "Name")], by.x = "int_rate", by.y = "Symbol", all.x = TRUE)
  merged_df <- merged_df %>%
    arrange(date) %>%
    fill(c(Market, Name), .direction = "down")
  
  merged_df <- merged_df[complete.cases(merged_df), ]
  
  this_name <- unique(merged_df$Market)
  indicator_name <- unique(merged_df$Name)
  this_elem <- paste(this_name, indicator_name, sep="_")
  
  merged_df <- merged_df[-1, -c(3, 4)]
  merged_df$int_rate <- as.numeric(merged_df$int_rate)
  colnames(merged_df) <- c(indicator_name, "date")
  
  setNames(list(merged_df), this_elem)
}

int_data <- do.call(c, int_data)

stopCluster(cl)
registerDoSEQ()

额外优化说明 #

• 移除了原代码中重复加载的包（如多次调用library(readxl)）
• 修正了并行循环中直接修改主环境int_data的无效操作：worker环境与主环境隔离，直接赋值不会同步到主环境，改为通过foreach返回结果后合并
• 用setNames确保返回的每个元素都带有正确命名，最终合并后的列表结构符合预期

内容的提问来源于stack exchange，提问作者JF96