批量导入3000+XLSX文件并新增文件名列的技术需求

所需工具包 #

先确保安装并加载必要的R包：

install.packages(c("readxl", "dplyr", "purrr", "writexl"))
library(readxl)
library(dplyr)
library(purrr)
library(writexl)

步骤1：获取文件列表 #

将工作目录切换到XLSX文件所在文件夹，或者直接用完整路径获取所有目标文件：

# 设置工作目录（替换为你的文件夹路径）
setwd("~/your_xlsx_folder")

# 获取所有XLSX文件的完整路径
file_paths <- list.files(pattern = "\\.xlsx$", full.names = TRUE)

步骤2：定义文件处理函数 #

编写函数实现「读取文件 + 添加文件名列」的核心逻辑：

process_single_file <- function(file_path) {
  # 读取XLSX文件
  raw_data <- read_xlsx(file_path)
  # 提取纯文件名（去掉后缀和路径）
  file_id <- tools::file_path_sans_ext(basename(file_path))
  # 添加id列，值为文件名
  processed_data <- raw_data %>% mutate(id = file_id)
  return(processed_data)
}

步骤3：批量处理文件 #

根据需求选择以下两种方式之一：

方式1：合并为单个数据框

适合需要统一分析所有数据的场景：

# 批量处理并合并所有数据
combined_data <- map_dfr(file_paths, process_single_file)

# 查看处理后的结果
head(combined_data)

方式2：单独保存每个处理后的文件

如果需要保留每个文件的独立处理版本：

# 修改函数，添加保存逻辑
process_and_save <- function(file_path) {
  raw_data <- read_xlsx(file_path)
  file_id <- tools::file_path_sans_ext(basename(file_path))
  processed_data <- raw_data %>% mutate(id = file_id)
  # 生成保存路径（原文件名后加"_processed"）
  save_path <- paste0(tools::file_path_sans_ext(file_path), "_processed.xlsx")
  write_xlsx(processed_data, save_path)
}

# 批量执行处理和保存
map(file_paths, process_and_save)

注意事项 #

• tools::file_path_sans_ext是R基础工具包函数，无需额外安装，专门用于去除文件名后缀。
• 针对3000+文件的规模，purrr的批量操作比传统for循环更高效，代码可读性也更强。
• 如果文件中有特殊格式或读取报错，可以在read_xlsx中添加参数（如skip跳过表头行）适配你的数据。

内容的提问来源于stack exchange，提问作者YouLocalRUser