Linux RStudio Server中readxl读取Excel内存泄漏问题求助

原因分析 #

• readxl的读取机制：readxl读取Excel时会加载文件的全部内容，包括筛选规则、表格元数据、单元格样式等格式信息，这些临时加载的内容会大幅占用内存，而最终生成的data.frame只保留原始数据，所以object_size()检测的大小远低于读取峰值。
• 数据类型探测的临时开销：readxl会为每列尝试多种数据类型（比如先按字符型读取再转换），这个过程中会生成多个临时数据结构，直到确定最终类型才会清理，额外消耗内存。
• Excel的隐性内容：带筛选和表格格式的文件可能包含隐藏行/列、格式缓存、历史编辑记录等隐性内容，这些都会被读取时加载处理，进一步增加内存压力。

低内存替代方案 #

1. 使用openxlsx包 #

openxlsx读取时更聚焦于数据本身，对格式元数据的加载更少，内存效率更高。示例代码：

library(openxlsx)
df <- read.xlsx("目标文件.xlsx", sheet = 1, detectDates = TRUE, skipEmptyRows = TRUE)

2. 分块读取 #

通过分批次读取数据，避免一次性加载整个文件到内存。用readxl的range参数实现：

library(readxl)
total_rows <- 240000
chunk_size <- 40000
df_list <- list()

for (i in 0:(total_rows %/% chunk_size)) {
  start_row <- i * chunk_size + 1
  end_row <- min((i + 1) * chunk_size, total_rows)
  df_chunk <- read_excel("目标文件.xlsx", range = cell_rows(start_row:end_row))
  df_list[[i+1]] <- df_chunk
}

df <- do.call(rbind, df_list)

3. 转CSV后用高效工具读取 #

先将Excel批量导出为CSV格式，再用data.table的fread或vroom读取，这两个工具内存占用极低且速度快：

# 用fread
library(data.table)
df <- fread("目标文件.csv")

# 用vroom
library(vroom)
df <- vroom("目标文件.csv", delim = ",")

额外注意事项 #

• 读取前务必关闭本地打开的Excel文件，避免加载锁定缓存导致内存异常。
• 读取完成后执行gc()手动触发垃圾回收，释放临时占用的内存。
• 读取后用str(df)检查数据类型，将不必要的字符型列转换为因子或更紧凑的类型，进一步降低内存占用。

内容的提问来源于stack exchange，提问作者Juan C