如何在百万级DataFrame的字符串列中匹配向量中首个出现的词

需求说明 #

需要从包含数百万条记录的大型DataFrame字符串列中，找出指定词汇向量里最先出现的词汇，并生成结果列。

示例数据 #

df <- data.frame(ID = c(1,2,3),
Text = c("A basket of fruits having apples, green bananas, and peaches",
"A basket of fruits having green bananas, apples, and peaches",
"A basket of fruits having peaches, green bananas, and apples"))

待匹配词汇向量 #

vec <- c("green bananas", "apples", "peaches")

高效解决方案 #

针对百万级数据量，优先选择矢量化、低开销的方法，这里使用stringi包（字符串处理效率远高于基础包）结合data.table（处理大型数据集的高效工具）实现：

1. 加载依赖包

library(data.table)
library(stringi)

2. 转换为data.table格式（大幅提升大型数据集处理速度）

setDT(df)

3. 定义匹配逻辑并生成结果列

df[, Result := sapply(Text, function(txt) {
  # 获取每个词汇在当前文本中的首次出现位置
  match_locs <- stri_locate_first_fixed(txt, vec)
  # 过滤未匹配到的词汇
  valid_matches <- !is.na(match_locs[, "start"])
  if (!any(valid_matches)) {
    return(NA_character_)
  }
  # 找到位置最靠前的词汇
  vec[which.min(match_locs[valid_matches, "start"])]
})]

结果验证 #

运行后df的Result列值依次为："apples"、"green bananas"、"peaches"，与期望完全一致。

内容的提问来源于stack exchange，提问作者Samarth A