在R语言中使用查找表实现多词文本搜索的高效方法？

需求说明 #

需要用包含多词搜索字符串的查找表（规模约5万行），在大型产品数据框的行中执行模糊字符串匹配，提取匹配到的完整产品行及对应的查找表行。现有嵌套for循环实现效率极低，而dplyr::semi_join仅支持精确匹配，无法满足长字符串的多词模糊匹配需求。

现有低效实现代码 #

fruit_lookup <- data.frame(fruit=c("banana drop","apple juice","pear","plum"), rating=c(3,4,3,5))
products <- data.frame(product_code=c("535A","535B","283G","786X","765G"), product_name=c("banana drop syrup","apple juice concentrate","melon juice","coconut oil","strawberry jelly"))
results <- data.frame(product_code=NA, product_name=NA, fruit=NA, rating=NA)

for(i in 1:nrow(products)) {
  for(j in 1:nrow(fruit_lookup)){
    if(stringr::str_detect(products$product_name[i], fruit_lookup$fruit[j])) {
      results <- tibble::add_row(results)
      results$product_code[i] <- products$product_code[i]
      results$product_name[i] <- products$product_name[i]
      results$fruit[i] <- fruit_lookup$fruit[j]
      results$rating[i] <- fruit_lookup$rating[j]
      break
    }
    }
  }

results <- stats::na.omit(results)
print(results)

期望结果 #

product_code     product_name                 fruit         rating
535A             banana drop syrup            banana drop   3
535B             apple juice concentrate      apple juice   4

高效解决方案 #

方法1：使用fuzzyjoin包的正则匹配连接 #

fuzzyjoin提供了专门处理模糊匹配的连接函数，内部基于向量化操作，效率远高于嵌套循环，适合大规模数据集。

library(fuzzyjoin)
library(dplyr)

# 定义数据集
fruit_lookup <- data.frame(fruit=c("banana drop","apple juice","pear","plum"), rating=c(3,4,3,5))
products <- data.frame(product_code=c("535A","535B","283G","786X","765G"), product_name=c("banana drop syrup","apple juice concentrate","melon juice","coconut oil","strawberry jelly"))

# 执行正则内连接，保留每个产品的第一个匹配项
results <- regex_inner_join(products, fruit_lookup, 
                            by = c("product_name" = "fruit"),
                            ignore_case = FALSE) %>%
  distinct(product_code, .keep_all = TRUE)

print(results)

方法2：使用stringr+dplyr的向量化匹配 #

通过将查找表的搜索词拼接成正则模式，一次性完成所有匹配，再关联查找表获取对应字段，同样是高效的向量化操作。

library(dplyr)
library(stringr)

# 定义数据集
fruit_lookup <- data.frame(fruit=c("banana drop","apple juice","pear","plum"), rating=c(3,4,3,5))
products <- data.frame(product_code=c("535A","535B","283G","786X","765G"), product_name=c("banana drop syrup","apple juice concentrate","melon juice","coconut oil","strawberry jelly"))

# 提取每个产品名匹配的第一个查找词
products_with_match <- products %>%
  mutate(match_fruit = str_extract(product_name, str_c(fruit_lookup$fruit, collapse = "|"))) %>%
  filter(!is.na(match_fruit))

# 关联查找表获取评分并整理结果
results <- products_with_match %>%
  left_join(fruit_lookup, by = c("match_fruit" = "fruit")) %>%
  select(product_code, product_name, fruit = match_fruit, rating)

print(results)

代码规范建议 #

• 避免嵌套循环：处理大数据集时，优先使用向量化操作或专门的函数（如fuzzyjoin系列），循环逐行操作的时间复杂度为O(n*m)，数据规模增大后效率会急剧下降。
• 不要逐行扩展数据框：tibble::add_row在循环中反复修改数据框会产生大量内存开销，建议先收集所有匹配结果，最后一次性组合成数据框。
• 优先使用tibble：tibble是data.frame的增强版，默认不将字符串转换为因子，输出格式更清晰，适合数据处理场景。
• 统一管理包加载：将所有需要的包放在脚本开头加载，避免在代码中间零散加载，提升可读性。
• 变量命名一致性：保持变量命名风格统一（如全部小写加下划线），便于理解和维护。

内容的提问来源于stack exchange，提问作者Fat Pat