R语言如何使用fread仅加载与另一数据框匹配的目标数据行

你不需要全量加载1900万行的大文件就能完成匹配，以下两种方案都可以把内存占用压到极低水平：

方案1：fread结合awk预过滤（速度最快，推荐） #

data.table::fread支持传入shell命令的执行结果作为输入，你可以先用awk在文件读取层面就把不匹配的行过滤掉，全程不会把全量大文件加载进R内存。
代码示例：

library(data.table)
# 先加载仅440行的小文件，这个体量几乎不占内存
file1 <- fread("你的小文件路径.csv")
# 提取要匹配的car值，提前去重减少计算量
match_cars <- unique(file1$car)
# 转义car值里的正则特殊字符，避免匹配错误
match_cars_escaped <- paste0("^", gsub("([.[\\(*+?^$|])", "\\\\\\1", match_cars), "$", collapse = "|")
# 构造awk过滤命令：注意把下面的「car列对应序号」换成大文件里car列的实际位置，比如car是第2列就填2
# 大文件分隔符如果不是逗号，把-F','改成对应分隔符，比如制表符改-F'\t'
# Mac/Linux系统自带awk，Windows需要提前安装Rtools或Git Bash保证awk命令可用
awk_command <- sprintf("awk -F',' 'NR==1 || $%d ~ /%s/' 你的大文件路径.csv", car列对应序号, match_cars_escaped)
# 直接读取过滤后的匹配行
filtered_bigfile <- fread(cmd = awk_command)
# 完成合并
merge_result <- merge(file1, filtered_bigfile, by = "car")

方案2：分块读取匹配（无系统依赖，全平台通用） #

如果不方便使用awk命令，可以用fread的分块读取能力，逐块读入大文件、每块仅保留匹配行，最后拼接结果即可，内存占用远低于全量加载：

library(data.table)
file1 <- fread("你的小文件路径.csv")
match_set <- unique(file1$car)
# 每次读取的行数，可根据自己的内存大小调整，比如设为100万行
chunk_rows <- 1000000
# 先读取大文件表头
big_header <- fread("你的大文件路径.csv", nrows = 0)
matched_parts <- list()
read_pos <- 0
repeat {
  # 读取下一块数据
  current_chunk <- fread("你的大文件路径.csv", skip = read_pos, nrows = chunk_rows, header = FALSE)
  # 读到文件末尾就退出循环
  if (nrow(current_chunk) == 0) break
  # 给当前块设置正确列名
  setnames(current_chunk, colnames(big_header))
  # 筛选当前块里car值匹配的行
  matched_chunk <- current_chunk[car %in% match_set, ]
  if (nrow(matched_chunk) > 0) {
    matched_parts[[length(matched_parts) + 1]] <- matched_chunk
  }
  read_pos <- read_pos + nrow(current_chunk)
  # 当前块行数小于设定块大小，说明已经到文件末尾
  if (nrow(current_chunk) < chunk_rows) break
}
# 拼接所有匹配的块
filtered_bigfile <- rbindlist(matched_parts)
merge_result <- merge(file1, filtered_bigfile, by = "car")

注意事项 #

• 你示例里写的fread("filepath.file2", by = file1$car)是无法运行的，fread原生没有by参数可以直接实现按值筛选行
• 匹配前建议统一两个文件car列的格式：比如统一大小写、去除首尾空格，避免因为格式不一致导致漏匹配
• 如果追求更高的合并速度，合并时可以用data.table的键设置代替merge：setkey(file1, car); setkey(filtered_bigfile, car); merge_result <- file1[filtered_bigfile, nomatch=NULL]

内容的提问来源于stack exchange，提问作者Tom Mueller