R语言实现对话跨话轮非精确重复词的提取方案咨询

agrep完全适用于当前的跨话轮非精确词汇提取任务，它基于Levenshtein编辑距离实现近似匹配，无需提前枚举所有词汇变体，即可自动覆盖两类常见的非精确重复场景：

• 同根词形变化：如look/looks/looked这类通过词缀变化形成的重复
• 语音转写误差导致的近形词匹配：如yeah/yes这类因发音接近、转写偏差形成的重复

原有精确匹配逻辑无法直接拼接正则适配agrep，核心改造思路是把“批量正则精确匹配”调整为“逐词编辑距离比对”，不需要改动整体的跨话轮遍历框架。

流程改造步骤 #

• 第一步 统一数据预处理：对所有话轮的语音内容做标准化，包括转小写、剥离附着在词汇上的标点（如i'm/you're里的撇号）、切分为独立词汇列表，避免因格式不一致产生的无效匹配
• 第二步 设定动态匹配阈值：根据词汇长度调整允许的最大编辑距离，长度小于4的短词允许1个编辑操作，长度大于等于4的长词允许2个编辑操作，平衡召回率和误匹配率，避免短词（如a/i）出现无意义的匹配
• 第三步 逐词跨话轮比对：以上一话轮的所有词汇为匹配库，逐个检查当前话轮的词汇是否存在编辑距离在阈值内的匹配项，提取符合条件的词汇去重后存入结果
• 第四步 结果校验调整：根据实际业务的误匹配、漏匹配情况，动态调整不同长度词汇对应的编辑距离阈值

改造后代码示例 #

library(stringr)
# 数据预处理
X$clean_speech <- str_to_lower(X$speech)
# 去掉所有非字母非空格的符号，切分为词汇列表
X$word_list <- str_split(str_replace_all(X$clean_speech, "[^a-z\\s]", ""), "\\s+")

extracted_fuzzy <- list()
# 定义动态编辑距离规则
get_max_dist <- function(word_len) {
  ifelse(word_len < 4, 1, 2)
}

# 跨话轮遍历
for(i in 2:nrow(X)){
  prev_word_pool <- X$word_list[[i-1]]
  curr_words <- X$word_list[[i]]
  matched_words <- c()
  # 逐词做近似匹配
  for(each_curr in curr_words){
    allowed_dist <- get_max_dist(nchar(each_curr))
    # 匹配上一话轮的词汇，编辑距离在阈值内即为命中
    hit_idx <- agrep(each_curr, prev_word_pool, max.distance = allowed_dist)
    if(length(hit_idx) > 0){
      matched_words <- c(matched_words, each_curr)
    }
  }
  extracted_fuzzy[[i]] <- unique(matched_words)
}

对应示例数据的运行结果可覆盖所有目标匹配项：

• 第2话轮可匹配到上一轮的take/look/you，同时识别到looks为look的非精确重复
• 第3话轮可识别到looked为上一轮looks/look的非精确重复
• 第4话轮可识别到yes为上一轮yeah的近似匹配

针对数千条话轮的实际业务数据，可通过以下方式提升运行效率：

• 用向量化的agrepl替代内层的逐词循环，减少循环嵌套层数
• 提前过滤高频停用词的匹配需求，减少不必要的比对计算量
• 可根据实际对话的误匹配情况，将阈值从固定的编辑距离，调整为同时考虑词汇长度、词频的动态规则，比如对出现频率极低的专有名词适当放宽匹配阈值

内容的提问来源于stack exchange，提问作者Chris Ruehlemann