R语言中高效追加数据框至RDS文件的优化方法咨询

原代码的核心瓶颈在于全量读取原有数据+全量写入合并后的数据，当原RDS文件中的数据框较大时，内存会同时加载原数据、新数据以及合并后的完整副本，导致内存占用飙升，读写速度变慢。以下是几种针对性的优化方案：

1. 用data.table提升内存与速度效率 #

data.table的rbindlist相比base包的rbind，在合并数据时做了大量优化，避免了不必要的内存拷贝和类型检查，尤其适合大数据框场景：

library(data.table)
# 读取原数据并转为data.table
original_dt <- as.data.table(readRDS(fin_out))
# 合并原数据与新数据（自动匹配列，无需手动对齐）
combined_dt <- rbindlist(list(original_dt, as.data.table(dat)))
# 写入回RDS文件
saveRDS(combined_dt, file = fin_out)

# 可选：及时释放内存
rm(original_dt, combined_dt)
gc()

2. 改用追加友好的存储格式（推荐频繁追加场景） #

如果需要频繁执行追加操作，RDS并不是最优选择——它本质是序列化单个R对象，不支持增量写入。改用以下格式可以彻底避免全量读写的开销：

方案A：fst格式（轻量、极速） #

fst包专为大数据框设计，支持直接追加数据到文件末尾，无需读取原有内容，内存占用极低：

library(fst)
# 首次写入或追加数据
if (!file.exists(fin_out)) {
  write_fst(dat, fin_out)
} else {
  # 直接追加，无需读全量数据
  write_fst(dat, fin_out, append = TRUE)
}

读取时可以按需加载指定列，进一步节省内存：read_fst(fin_out, columns = c("col1", "col2"))

方案B：Apache Arrow格式（跨语言兼容） #

Apache Arrow的列式存储格式支持高效追加，同时兼容Python、Java等多语言，适合跨平台数据场景：

library(arrow)
# 打开或创建数据集
ds <- open_dataset(
  sources = fin_out,
  format = "feather",
  create = TRUE
)
# 追加新数据
write_dataset(
  dat,
  path = ds$path,
  format = "feather",
  append = TRUE
)

3. 必须用RDS时的内存优化技巧 #

如果业务场景限制必须使用RDS，且新旧数据框列结构完全一致，可以直接扩展原数据框的行数来避免中间副本：

original <- readRDS(fin_out)
# 直接扩展原数据框并赋值新数据，避免rbind创建完整副本
row_end <- nrow(original) + nrow(dat)
original[(nrow(original)+1):row_end, ] <- dat
saveRDS(original, file = fin_out)

# 及时释放内存
rm(original)
gc()

注意：此方法要求新旧数据框的列名、类型完全匹配，否则会出现数据错位或报错。

内容的提问来源于stack exchange，提问作者michaelcarniol