R语言无需读取全量文件实现文件去重更新的高效方法问询

RDS本身是R专属的二进制序列化格式，没有索引结构，无法支持局部修改，必须全量加载后才能更新，大体积下必然出现内存不足的问题。以下是两种可落地的替代方案：

方案1：改用SQLite轻量数据库（最适配你的需求，推荐） #

SQLite是单文件型的关系型数据库，不需要额外部署服务，支持行级更新，完全不需要读取全量数据，内存占用恒定。
实现代码：

library(DBI)
library(RSQLite)
library(tibble)
library(purrr)

# 初始化数据库（单文件存储，和rds一样只有一个本地文件）
con <- dbConnect(RSQLite::SQLite(), "data_store.db")
# 首次运行建表，后续运行可跳过
if (!dbExistsTable(con, "records")) {
  dbWriteTable(con, "records", tibble(id = integer(), val = numeric(), val2 = numeric()))
}

# 封装更新函数：先删旧同id记录，再插新记录
update_record <- function(id) {
  new_data <- tibble(id = id, val = rnorm(1), val2 = rnorm(1))
  # 删除旧记录，仅操作目标id行，无需读全量
  dbExecute(con, "DELETE FROM records WHERE id = ?", params = list(id))
  # 追加新记录
  dbAppendTable(con, "records", new_data)
}

# 批量执行更新
links <- c(1,1,2,3,2,3,4,5)
walk(links, update_record)

# 按需读取结果，不需要全量加载也可以按条件查询
dbGetQuery(con, "SELECT * FROM records ORDER BY id")

# 关闭连接
dbDisconnect(con)

优势：

• 全程无全量读写，内存占用不受总数据量影响，支持百G级数据量的更新
• 天然满足你的「旧记录删除、新记录写入」的去重逻辑，不需要额外处理
• 依然是单文件存储，和rds的使用体验一致，不需要管理多个文件

方案2：带时间戳的小文件批量合并（适合需要纯文件存储、不需要实时更新的场景） #

你之前考虑的小文件方案的问题是没有版本标识，只要给每条记录加写入时间戳，就能明确区分新旧版本，合并时可以用分块读写工具避免全量加载。
实现代码：

library(dplyr)
library(purrr)
library(arrow)

# 单条记录写入小文件，加时间戳标识版本
write_single_record <- function(id, tmp_dir = "temp_records") {
  dir.create(tmp_dir, showWarnings = F)
  new_data <- tibble(
    id = id,
    val = rnorm(1),
    val2 = rnorm(1),
    write_ts = as.numeric(Sys.time())
  )
  # 用parquet格式存储，比rds压缩率高、读写更快
  write_parquet(new_data, file.path(tmp_dir, paste0(id, "_", new_data$write_ts[1], ".parquet")))
}

# 批量写入小文件
links <- c(1,1,2,3,2,3,4,5)
walk(links, write_single_record)

# 合并去重：用arrow的懒加载机制，全程不需要全量加载到内存
all_files <- list.files("temp_records", pattern = "parquet$", full.names = T)
ds <- open_dataset(all_files)
final_data <- ds %>%
  group_by(id) %>%
  filter(write_ts == max(write_ts, na.rm = T)) %>%
  ungroup() %>%
  select(-write_ts)

# 写入最终合并文件
write_parquet(final_data, "merged_records.parquet")

优势：

• 写入阶段无IO冲突，支持多进程并行写入，适合批量处理任务
• 合并阶段内存占用极低，支持上百G的小文件合并

内容的提问来源于stack exchange，提问作者Hakki