R语言实现循环读取AWS S3中无规律命名的.xlsx文件并合并

步骤1：读取文件名对照表 #

先从本地CSV文件中提取S3上的目标文件名列表：

# 读取文件名对照表CSV
file_list <- read.csv("file_list.csv", stringsAsFactors = FALSE)
# 提取存储S3文件名的列（假设列名为file_name，根据实际调整）
s3_file_names <- file_list$file_name

步骤2：封装清洗函数 #

把你已有的单文件清洗代码封装成可复用的函数，确保输入原始数据框，输出清洗后的数据框：

clean_data <- function(raw_df) {
  # 替换为你的实际清洗代码
  # 示例：筛选列、处理缺失值、转换数据类型等
  # raw_df <- raw_df %>% dplyr::select(col1, col2, col3)
  # raw_df <- raw_df %>% dplyr::mutate(col2 = as.numeric(col2))
  return(raw_df)
}

步骤3：循环处理与合并 #

方式1：for循环（新手友好，易调试）

# 初始化空列表存储清洗后的数据
cleaned_data_list <- list()

# 遍历每个文件名
for (i in seq_along(s3_file_names)) {
  # 读取S3上的Excel文件
  raw_data <- aws.s3::s3read_using(
    FUN = readxl::read_xlsx,
    object = s3_file_names[i],
    bucket = "你的S3桶名称"  # 替换为实际桶名
  )
  
  # 应用清洗逻辑
  cleaned_data <- clean_data(raw_data)
  
  # 将结果存入列表
  cleaned_data_list[[i]] <- cleaned_data
  
  # 可选：打印进度
  cat("已完成文件：", s3_file_names[i], "\n")
}

# 合并所有数据框
final_data <- do.call(rbind, cleaned_data_list)

方式2：lapply（更简洁，R风格）

如果熟悉函数式编程，用lapply替代for循环更高效：

# 批量读取+清洗
cleaned_data_list <- lapply(s3_file_names, function(file) {
  raw_data <- aws.s3::s3read_using(
    FUN = readxl::read_xlsx,
    object = file,
    bucket = "你的S3桶名称"
  )
  clean_data(raw_data)
})

# 合并数据（推荐用dplyr::bind_rows，兼容少量列名差异）
final_data <- dplyr::bind_rows(cleaned_data_list)

注意事项 #

• 确保已配置AWS S3访问权限（可通过aws.s3::aws.signature::use_credentials()或环境变量设置）
• 若文件体积大，建议用data.table::rbindlist(cleaned_data_list)替代rbind提升合并效率
• 清洗函数必须保证输出数据框的列名、数据类型完全一致，否则合并会报错
• 可添加错误捕获（如tryCatch）避免单个文件处理失败中断整个循环

内容的提问来源于stack exchange，提问作者fe108