在R中用fread和rbind.fill仅合并唯一值的方法及相关疑问

你当前的场景是处理15个各含30万条记录的CSV文件（总约400万条），通过fread+rbind.fill合并后再按UniqueID去重至300万条，以下是针对你疑问的解答：

1. 如何在合并阶段直接保留唯一值，省去后续去重？ #

核心思路是边读取边过滤，维护一个已出现的UniqueID集合，每读取一个文件就过滤掉已经存在的ID，只保留新增的唯一记录，避免全量加载后再去重。

实现代码（for循环版，直观易维护） #

library(data.table)
# 注意加full.names=TRUE获取完整文件路径，避免后续路径问题
files <- list.files('C:/Users/Michael/documents', full.names = TRUE)

# 初始化已出现的ID集合和结果数据框
seen_ids <- character(0)
df <- data.table()

for (file in files) {
  # 读取单个文件
  temp <- fread(file, header = TRUE)
  # 过滤掉已存在的UniqueID
  temp_filtered <- temp[!UniqueID %in% seen_ids]
  # 合并到结果集
  df <- rbind(df, temp_filtered)
  # 更新已出现的ID集合
  seen_ids <- c(seen_ids, temp_filtered$UniqueID)
}

优化版（用data.table的键查询提升效率） #

当seen_ids数量很大时，%in%的线性查询会变慢，用data.table的键做反连接，查询效率更高：

library(data.table)
files <- list.files('C:/Users/Michael/documents', full.names = TRUE)

# 用带键的data.table存储已出现的ID，查询更快
seen_ids <- data.table(UniqueID = character(0), key = "UniqueID")
df <- data.table()

for (file in files) {
  temp <- fread(file, header = TRUE)
  # 反连接：筛选出不在seen_ids中的记录
  temp_filtered <- temp[!seen_ids, on = "UniqueID"]
  df <- rbind(df, temp_filtered)
  # 更新已出现的ID集合
  seen_ids <- rbind(seen_ids, temp_filtered[, .(UniqueID)])
}

2. 当前方法是否为最高效方式？ #

你当前的方法（全量合并后去重）比read.csv+rbind高效，但不是最优方案：

• 缺点：需要将全部400万条记录加载到内存，内存占用高，去重阶段也需要遍历全量数据。
• 最优方向：
  1. 采用上面的边读边过滤方案，减少内存占用，同时省去后续全量去重的开销；
  2. 如果数据量远超内存承载能力，可以用轻量数据库（如SQLite）：将每个CSV导入数据库表，再执行SELECT * FROM table GROUP BY UniqueID或SELECT DISTINCT * FROM table获取唯一记录，全程无需加载全量数据到内存。

3. 为何不设置工作目录会出现文件不存在的错误？ #

原因很简单：

• list.files('C:/Users/Michael/documents')返回的是仅文件名（比如data1.csv），而非完整文件路径；
• 当你用fread读取时，R会默认在当前工作目录下查找这个文件，如果当前工作目录不是C:/Users/Michael/documents，自然找不到文件，报错“File does not exist or is non-readable”。

解决方法：无需设置工作目录，只需在list.files中添加full.names = TRUE参数，这样返回的是完整文件路径（比如C:/Users/Michael/documents/data1.csv），fread就能直接定位到文件。

内容的提问来源于stack exchange，提问作者Michael