如何用dplyr/tidyverse将anti_join结果追加至CSV文件顶部？

问题背景 #

我想要编写可持续更新CSV文件的脚本。由于脚本采集的数据存在冗余，我希望使用anti_join找出当前已保存CSV文件中没有的数据点，并将这些新数据追加到CSV文件顶部。目前write_csv默认会将数据追加至文件底部，而大数据集下通过排序调整位置的方式计算成本过高，请问如何用dplyr/tidyverse实现这一需求？

当前代码示例 #

iris = iris %>% 
  mutate(rowId = row_number())
df1 = iris[1:15, ]
df2 = iris[1:10, ]
df1 %>% 
  anti_join(df2, by = "rowId")

# write.csv(., append = TRUE)

anti_join返回的缺失数据 #

Sepal.Length Sepal.Width Petal.Length Petal.Width Species rowId
1          5.4         3.7          1.5         0.2  setosa    11
2          4.8         3.4          1.6         0.2  setosa    12
3          4.8         3.0          1.4         0.1  setosa    13
4          4.3         3.0          1.1         0.1  setosa    14
5          5.8         4.0          1.2         0.2  setosa    15

解决方案 #

核心思路是不使用排序，直接将新筛选出的数据与原有数据按「新数据在前、旧数据在后」的顺序拼接，再覆盖写入原CSV文件，这种方式计算成本极低，无需对大数据集做排序操作。

完整实现代码 #

library(tidyverse)

# 1. 模拟新采集的原始数据（替换为你实际的采集逻辑）
new_raw_data <- iris %>% 
  mutate(rowId = row_number()) %>% 
  slice(1:15)

# 2. 处理CSV文件更新逻辑
csv_path <- "existing_data.csv"

if (!file.exists(csv_path)) {
  # 首次写入：直接保存新采集的数据
  write_csv(new_raw_data, csv_path)
} else {
  # 读取已有数据
  existing_data <- read_csv(csv_path)
  
  # 筛选出已有数据中不存在的新数据点
  new_data_points <- new_raw_data %>% 
    anti_join(existing_data, by = "rowId")
  
  # 仅当有新数据时才更新文件（避免无意义的写入操作）
  if (nrow(new_data_points) > 0) {
    # 拼接：新数据在前，原有数据在后
    updated_data <- bind_rows(new_data_points, existing_data)
    # 覆盖写入原文件
    write_csv(updated_data, csv_path)
  }
}

关键说明 #

• 避免了排序操作：通过bind_rows直接将新数据放在头部，无需对全量数据做排序，大幅降低计算开销
• 冗余判断：新增了「文件是否存在」和「是否有新数据」的判断，避免无效操作
• 依赖tidyverse包：read_csv、anti_join、bind_rows、write_csv均为tidyverse生态工具，保持代码风格统一

内容的提问来源于stack exchange，提问作者user113156