如何高效导入并合并带不同索引列的多文件？

需求说明 #

有多个宽格式CSV文件，列变量逻辑一致，但列名带有不同的数字索引后缀（如wind.speed_20524321），无法直接用rbind合并。需要完成：

• 批量导入文件为列表
• 将宽格式转换为长格式，同时拆分列名提取变量名和索引ID
• 合并为包含日期时间、ID、变量名、值四列的单个数据框
• 适配40个70-80MB大文件的高效处理

方案1：Tidyverse + Vroom（高效读取+语法简洁） #

使用vroom快速读取大文件，结合purrr和tidyr完成批量处理：

# 加载工具包
library(tidyverse)
library(vroom)

# 定义文件夹路径
subdir <- "01_Unprocessed"
# 获取所有目标CSV文件的完整路径
files <- list.files(path = subdir, pattern = "hobo.csv", full.names = TRUE)

# 批量读取、转换格式并合并
hobo_combined <- map_dfr(files, function(file) {
  # vroom读取大文件效率远高于read.csv，自动识别列类型
  df <- vroom(file, show_col_types = FALSE)
  
  # 宽转长，拆分列名为变量名和ID
  pivot_longer(df,
               cols = -date.time,
               # 正则匹配"变量名_数字ID"格式，捕获两个分组
               names_pattern = "(.*)_(\\d+)$",
               names_to = c("变量名", "ID"),
               values_to = "值")
})

关键说明 #

• vroom：针对大文件优化的读取工具，速度是read.csv的数倍，且内存占用更低
• map_dfr：自动将列表中的数据框按行合并，替代繁琐的do.call(rbind, ...)
• names_pattern：(.*)_(\\d+)$匹配任意字符组成的变量名，后跟下划线和数字ID，兼容变量名含特殊字符的场景

方案2：Data.table（极致速度+内存优化） #

如果文件规模极大，优先选择data.table，其处理速度和内存效率远超基础R和tidyverse：

# 加载data.table
library(data.table)

# 定义文件夹路径
subdir <- "01_Unprocessed"
files <- list.files(path = subdir, pattern = "hobo.csv", full.names = TRUE)

# 批量读取、转换并合并
hobo_combined <- rbindlist(lapply(files, function(file) {
  # fread是data.table专属读取函数，速度极快
  dt <- fread(file)
  
  # 宽转长，拆分列名并整理列结构
  melt(dt, id.vars = "date.time", variable.name = "col_name")[,
    # 按下划线拆分列名为变量名和ID
    c("变量名", "ID") := tstrsplit(col_name, "_", fixed = TRUE)][,
    # 移除临时列，调整列顺序和名称
    `:=`(col_name = NULL, 日期时间 = date.time)][, .(日期时间, ID, 变量名, 值 = value)]
}))

关键说明 #

• fread：专门针对大文件优化，自动处理各种CSV格式问题，读取速度碾压基础R函数
• melt：data.table版的宽转长函数，效率极高
• rbindlist：高效合并数据框列表，比do.call(rbind, ...)快数十倍

验证示例 #

用你提供的df1和df2测试，运行代码后会生成如下结构的数据框：

内容的提问来源于stack exchange，提问作者kpm