在R中对比两个DataFrame，如何批量生成新逻辑列？

针对你2000万行的大数据量，推荐两种简洁高效的实现方式，避免手动编写重复代码：

1. Base R 循环（性能优先） #

先明确要处理的列：

• 从第一个数据集里挑出需要检查的列（比如排除ID列：first_cols <- names(First_dataset)[-1]，要包含ID就直接用names(First_dataset)）
• 从第二个数据集里取出用于对比的3列（排除参考编号列：second_cols <- names(Second_dataset)[-1]）

用双重循环批量生成逻辑列，支持两种命名方式：

# 方式1：按序号命名（如log_1、log_2...）
counter <- 1
for (col1 in first_cols) {
  for (col2 in second_cols) {
    First_dataset[[paste0("log_", counter)]] <- First_dataset[[col1]] %in% Second_dataset[[col2]]
    counter <- counter + 1
  }
}

# 方式2：按原列名组合命名（如log_first_key_key1）
for (col1 in first_cols) {
  for (col2 in second_cols) {
    new_col <- paste0("log_", col1, "_", col2)
    First_dataset[[new_col]] <- First_dataset[[col1]] %in% Second_dataset[[col2]]
  }
}

2. tidyverse 简洁写法（可读性优先） #

如果习惯用tidyverse生态，用dplyr+purrr可以一行完成批量操作：

library(dplyr)
library(purrr)

# 提取第二个数据集的对比列值集合
ref_cols <- map(Second_dataset[-1], identity)

# 批量生成逻辑列
First_dataset <- First_dataset %>%
  mutate(
    across(
      -ID,  # 替换成不需要检查的列（比如ID）；全列检查就写everything()
      ~set_names(
        map(ref_cols, ~.x %in% .y),
        paste0("log_", cur_column(), "_", names(ref_cols))
      ),
      .names = "{.value}"
    )
  )

生成的列名会清晰对应原列的对比关系，比如log_first_key_key1代表first_key列与第二个数据集的key1列的匹配结果。

大数据量性能优化 #

2000万行的数据量下，原生%in%效率有限，推荐用fastmatch包加速查找：

install.packages("fastmatch")
library(fastmatch)

# 预先把第二个数据集的列转为哈希索引
for (col in second_cols) {
  Second_dataset[[col]] <- fmatch(Second_dataset[[col]], Second_dataset[[col]])
}

# 用fmatch替代%in%，速度提升数倍
First_dataset[[new_col]] <- !is.na(fmatch(First_dataset[[col1]], Second_dataset[[col2]]))

内容的提问来源于stack exchange，提问作者Learning