R语言批量读取CSV文件、合并数据及变量调用问题求助

嘿，我完全懂你现在的头疼点——用for循环读了一堆CSV，但最后这些数据散在一个个以文件名命名的变量里，既没法方便调用，更没法批量合并处理对吧？别慌，咱们换个思路就能轻松搞定，下面一步步来：

第一步：把读取的数据存到列表里（替代assign） #

你之前用assign()把每个CSV存成单独变量的方式，虽然能读到数据，但后续批量操作会非常麻烦。更好的做法是把所有读取的DataFrame放进一个列表里，这样不管是合并还是后续处理都能批量操作。

方法1：用for循环构建列表 #

# 获取当前目录下所有CSV文件（注意转义点号，避免匹配到非CSV文件）
filenames <- list.files(path = getwd(), pattern = "\\.csv$")

# 创建一个空列表用来存所有DataFrame
df_list <- list()

# 循环读取每个文件
for (i in seq_along(filenames)) {
  # 拼接完整文件路径
  filepath <- file.path(getwd(), filenames[i])
  # 读取指定列：这里用fread的select参数，你可以换成列名更可靠（比如c("colA","colB")）
  current_df <- fread(filepath, select = c(1,2,3,25,29), sep = ",")
  # 可选：给每个DataFrame加一列标记来源文件，方便后续溯源
  current_df$source_file <- filenames[i]
  # 把当前DataFrame放进列表
  df_list[[i]] <- current_df
}

方法2：用lapply更简洁实现 #

如果你喜欢更简洁的代码，lapply可以一行搞定读取和列表构建：

filenames <- list.files(path = getwd(), pattern = "\\.csv$")

df_list <- lapply(filenames, function(file) {
  filepath <- file.path(getwd(), file)
  df <- fread(filepath, select = c(1,2,3,25,29), sep = ",")
  df$source_file <- file # 可选标记来源
  return(df)
})

第二步：把列表中的DataFrame合并成一个大表 #

既然所有数据都在列表里了，合并就简单了。因为你用的是data.table的fread，用rbindlist效率最高（比do.call(rbind, df_list)快很多）：

# 合并所有列表中的DataFrame，fill=TRUE可以处理列名不一致的情况（自动补NA）
combined_df <- rbindlist(df_list, fill = TRUE)

小提示：如果确定所有CSV的列数、列名完全一致，可以去掉fill=TRUE，速度会更快。

第三步：和目标DataFrame合并 #

现在你有了合并后的大表combined_df，接下来和另一个列数相同的target_df合并。首先要确保列名对齐（这一步很重要，避免合并出错）：

# 检查两个表的列名是否匹配
colnames(combined_df)
colnames(target_df)

如果列名一致，根据你的需求选择合并方式：

按主键列合并（推荐） #

如果两个表有共同的主键列（比如ID列），用merge函数按主键合并：

# 假设主键列是"id"和"date"，all.x=TRUE表示保留combined_df的所有行
final_df <- merge(combined_df, target_df, by = c("id", "date"), all.x = TRUE)

按位置合并（仅当列顺序完全一致时用） #

如果两个表的列顺序完全相同，只是要把行或列拼在一起，也可以用cbind（列合并）或rbind（行合并），但更推荐先确认列名匹配再操作：

# 列合并（注意列数要相同）
final_df <- cbind(combined_df, target_df)
# 行合并（注意列名要相同）
final_df <- rbind(combined_df, target_df)

为什么之前的assign不好用？ #

你之前用assign(i, fread(...))会把每个CSV存成以文件名命名的变量（比如"data1.csv"），调用的时候得用get("data1.csv")，80个文件的话要一个个调用，完全没法批量处理。而列表是R中批量处理相似数据的最佳容器，不管是合并、筛选还是计算都能批量操作。

内容的提问来源于stack exchange，提问作者Marijn