R语言基于openNLP分句后用for循环匹配关键词构建数据框

原有代码存在两个核心问题导致结果不符合预期：

• 拆分句子时将所有文本直接合并处理，没有记录每个拆分后句子对应的原始数据id，无法正确回填句子归属
• 循环逻辑倒置：遍历关键词检索句子时，错误使用句子位置索引关键词向量，必然出现匹配错位，同时没有预设默认值，无法保留无匹配关键词的句子

整体思路：逐行拆分原始文本保留元数据，初始化默认分类值为null，基于词干映射逐句匹配关键词，命中后更新对应分类字段。

前置依赖加载与初始化 #

library(NLP)
library(openNLP)
library(SnowballC)
# 提前加载句子注释器，避免循环内重复初始化消耗性能
sent_annotator <- Maxent_Sent_Token_Annotator()

逐行拆分句子并保留原始ID #

split_sent_list <- list()
# 遍历原始数据逐行拆分句子，避免多文本拼接导致的句子边界、id丢失问题
for (i in 1:nrow(dat)) {
  current_text <- as.String(dat$text[i])
  current_id <- dat$id[i]
  current_annotation <- annotate(current_text, sent_annotator)
  current_sents <- current_text[current_annotation]
  
  split_sent_list[[i]] <- data.frame(
    text = as.character(current_sents),
    id = current_id,
    stringsAsFactors = FALSE
  )
}
# 合并为句子数据框，初始化分类字段默认值为null
sent_df <- do.call(rbind, split_sent_list)
sent_df$keyword <- "null"
sent_df$theme <- "null"

构建关键词映射表 #

给关键词表增加词干列，保留「原关键词-词干-主题」的完整对应关系，从根源避免索引错位：

word_dat$stem <- wordStem(word_dat$words, language = "english")

逐句匹配关键词完成分类 #

统一对句子做小写转换、词干提取，通过整词匹配避免误命中，匹配成功则更新对应分类字段：

for (sent_idx in 1:nrow(sent_df)) {
  # 对当前句子做分词、词干化处理，消除词形、大小写差异对匹配的影响
  sent_tokens <- tolower(unlist(strsplit(sent_df$text[sent_idx], "\\W+")))
  sent_stems <- wordStem(sent_tokens, language = "english")
  sent_stem_paste <- paste(sent_stems, collapse = " ")
  
  # 遍历关键词匹配
  for (kw_idx in 1:nrow(word_dat)) {
    kw_match_pattern <- paste0("\\b", word_dat$stem[kw_idx], "\\b")
    if (grepl(kw_match_pattern, sent_stem_paste)) {
      sent_df$keyword[sent_idx] <- word_dat$words[kw_idx]
      sent_df$theme[sent_idx] <- word_dat$theme[kw_idx]
      # 单句命中第一个关键词即跳出，若需支持单句多标签可删除此行
      break
    }
  }
}

最终生成的sent_df结构与预期final_df完全一致，无匹配关键词的句子会自动保留null值。

• 逐行拆分句子彻底避免了多文本拼接导致的句子边界识别错误、id丢失问题
• 保留关键词完整映射关系，不会出现关键词与主题、句子的错位
• 统一对句子做词干化、小写处理，匹配准确率更高，词边界规则可以避免短关键词部分匹配长单词的误判问题
• 预设默认值为null，无需额外处理无匹配句子的填充逻辑

内容的提问来源于stack exchange，提问作者scotiaboy