R语言如何删除主data.frame中与另一data.frame chassis重复的行

前置说明 #

你需要删除原数据框（下文称df）中chassis字段值和对照数据框A重复的行，适配海量数据处理的实现方案如下：

步骤1：统一对照数据框结构 #

你给出的示例A创建代码缺少列名，我们统一给对照列命名为chassis，方便后续匹配，如果你是从Excel导入A，导入后也请确保对照列名为chassis：

# 示例对照数据框创建代码
A <- data.frame(
  chassis = c("HBZN350NHJ1245780", "HBZN350NHJ1245601", "HBZN350NHJ1245699")
)

实现方案 #

方案1：基础R实现（无额外依赖，适合轻量/中度数据量） #

直接用逻辑匹配取反筛选非重复行：

# 保留df中chassis值不在A$chassis里的行
df_new <- df[!df$chassis %in% A$chassis, ]

方案2：dplyr实现（语法简洁，可适配海量数据/数据库场景） #

如果处理本地超大数据量，可搭配dtplyr调用data.table底层运算，效率比基础R高3-10倍：

library(dplyr)
# 反连接筛选：仅保留df中未和A匹配到chassis值的行
df_new <- df %>%
  anti_join(A, by = "chassis")

如果对接的是线上SQL数据库，可直接把过滤逻辑下推到数据库执行，不需要将全量数据读取到本地，性能最优：

# 假设conn为已经建立的数据库连接对象
df_new <- tbl(conn, "你的原数据表名") %>%
  anti_join(A, by = "chassis") %>%
  collect() # 仅需要导出结果时执行，不需要导出可直接在数据库侧完成运算

效果验证 #

你示例中的3个chassis值对应原数据框的第2、4、6行，执行上述代码后这三行都会被自动剔除，符合需求预期。

内容的提问来源于stack exchange，提问作者Lucas Brecht Fernandes