如何加速Shiny App中多Excel工作表的处理流程？

核心问题分析 #

你的代码运行缓慢的核心原因是每次循环都读取整个工作表，但你仅需要两个关键信息：工作表是否为空、第三列是否为字符类型。完全不需要加载1000-6000行的全量数据，这是最大的性能浪费。

具体优化方法 #

1. 仅读取必要数据，避免全表加载

通过限制读取的行数和列数，只获取判断所需的最小数据：

• 判断工作表是否为空：读取1行数据即可，若返回行数为0则为空表
• 判断第三列类型：仅读取第三列的前10行（Excel列类型通常统一，少量样本即可确定类型）

示例代码片段：

# 判断工作表是否为空
is_empty <- nrow(read_xlsx(
  path = input$upload$datapath,
  sheet = sheet_name,
  n_max = 1
)) == 0

# 判断第三列类型
col3_type <- read_xlsx(
  path = input$upload$datapath,
  sheet = sheet_name,
  range = cell_cols(3),  # 仅读取第三列
  n_max = 10             # 仅读10行
)
has_char <- is.character(col3_type[[1]])

2. 并行处理工作表

利用R的并行计算能力，同时处理多个工作表，大幅提升遍历效率。使用furrr包（基于future）实现简单的并行循环：

先安装依赖包：

install.packages(c("future", "furrr"))

在Shiny服务器端配置并行：

server <- function(input, output, session) {
  # 配置并行（使用所有可用核心）
  plan(multisession)
  
  # ... 其他代码 ...
  
  # 用future_map替代串行for循环
  sheet_results <- future_map(sheets_to_process, function(sheet_name) {
    # 执行空表判断和列类型判断逻辑
    # 返回结果类型："empty"/"text"/"clean"
  })
  
  # 统计各类数量
  nrows_empty <- sum(sheet_results == "empty")
  nrows_text <- sum(sheet_results == "text")
  nrows_clean <- sum(sheet_results == "clean")
}

3. 使用openxlsx减少文件IO开销

readxl每次读取工作表都会重新打开文件，而openxlsx可以保持文件连接打开，减少重复IO操作，进一步提升速度：

library(openxlsx)

# 打开Excel文件连接
wb <- loadWorkbook(input$upload$datapath)

# 获取工作表维度判断是否为空
dims <- getSheetDimensions(wb, sheet = sheet_name)
is_empty <- dims[1] == 0

# 读取第三列前10行判断类型
col3 <- readWorkbook(wb, sheet = sheet_name, cols = 3, rows = 1:10)

# 关闭文件连接
closeWorkbook(wb)

完整优化后的Shiny代码 #

结合上述三种优化方法，最终代码如下：

# install.packages(c("remotes", "future", "furrr", "openxlsx", "purrr"))
remotes::install_github("deepanshu88/summaryBox")
library(shiny)
library(openxlsx)
library(bsplus)
library(summaryBox)
library(future)
library(furrr)
library(purrr)

ui <- fluidPage(
  titlePanel("Sample"),
  sidebarLayout(
    sidebarPanel(
      fileInput("upload", "Upload an Excel File", accept = c(".xlsx", ".csv"))
    ),
    mainPanel(
      tabsetPanel(
        type = "tabs", id = "tabs-nav",
        tabPanel("Sheet Info", 
                 uiOutput(outputId = "summarybox")
        )
      )
    )
  )
)

server <- function(input, output, session) {
  # 设置上传文件大小限制（200MB）
  options(shiny.maxRequestSize = 200 * 1024^2)
  
  # 关闭App时终止R会话
  session$onSessionEnded(function() {
    stopApp()
  })
  
  # 配置并行计算
  plan(multisession)
  
  output$summarybox <- renderUI({
    req(input$upload)
    
    # 获取所有工作表名称，排除Metadata
    sheets_all <- getSheetNames(input$upload$datapath)
    sheets_to_process <- sheets_all[sheets_all != "Metadata"]
    
    # 并行处理每个工作表
    sheet_results <- future_map(sheets_to_process, function(sheet_name) {
      wb <- loadWorkbook(input$upload$datapath)
      
      # 判断是否为空表
      dims <- getSheetDimensions(wb, sheet = sheet_name)
      is_empty <- dims[1] == 0
      
      if (is_empty) {
        closeWorkbook(wb)
        return("empty")
      }
      
      # 判断第三列类型
      col3 <- readWorkbook(wb, sheet = sheet_name, cols = 3, rows = 1:10)
      closeWorkbook(wb)
      
      return(if (is.character(col3)) "text" else "clean")
    })
    
    # 统计各类工作表数量
    nrows_empty <- sum(sheet_results == "empty")
    nrows_text <- sum(sheet_results == "text")
    nrows_clean <- sum(sheet_results == "clean")
    total_sheets <- length(sheet_results)
    
    fluidRow(
      summaryBox2("Clean Sheets", nrows_clean , width = 3, icon = "fa-solid fa-circle-check", style = "success"),
      summaryBox2("Empty Sheets", nrows_empty, width = 3, icon = "fa-solid fa-exclamation", style = "danger"),
      summaryBox2("Text Sheets", nrows_text, width = 3, icon = "fa-solid fa-exclamation", style = "info"),
      summaryBox2("Total Sheets", total_sheets  , width = 3, icon = "fa-solid fa-exclamation", style = "primary")
    )
  })
}

shinyApp(ui, server)

额外提示 #

• 如果服务器是单核机器，并行处理提升有限，此时重点放在仅读取必要数据和openxlsx的IO优化上
• 若Excel存在混合类型列（同一列既有字符又有数值），可适当增加读取行数确保判断准确
• 可添加shinycssloaders包实现加载动画，提升用户等待体验

内容的提问来源于stack exchange，提问作者Golem