R语言优化带自定义匹配的两数据框全量逐行比对逻辑以降低内存占用

方案1：精简循环，消除大矩阵内存占用 #

该方案仅维护长度等于d1行数的标记向量，无需存储全量匹配结果矩阵，匹配成功后可提前终止内层循环，内存开销极低。

library(stringr)
# 初始化标记向量默认值为0
d1$flag <- 0
for (i in 1:nrow(d1)) {
  curr_a <- d1$a[i]
  curr_b <- d1$b[i]
  for (j in 1:nrow(d2)) {
    # 找到任意匹配就修改标记并跳出内层循环，无需继续遍历
    if (curr_a == d2$a[j] & str_detect(d2$b[j], curr_b)) {
      d1$flag[i] <- 1
      break
    }
  }
}
d1

方案2：向量化实现，大幅提升计算效率 #

R语言的向量化运算性能远高于显式for循环，可通过分组预处理减少无效计算，适合处理大规模数据集：

library(stringr)
library(dplyr)
# 预处理d2：按a列聚合所有对应b值
d2_agg <- d2 %>% 
  group_by(a) %>% 
  summarise(b_pool = list(b), .groups = "drop")

# 批量计算匹配标记
d1 <- d1 %>% 
  left_join(d2_agg, by = "a") %>% 
  rowwise() %>% 
  mutate(flag = as.integer(any(str_detect(b_pool, b), na.rm = TRUE))) %>% 
  select(-b_pool) %>% 
  ungroup()
d1

两种方案的输出结果与原代码完全一致，内存占用仅随d1行数线性增长，不会出现大矩阵溢出问题。

内容的提问来源于stack exchange，提问作者adl