如何在R中借助Quanteda实现Apache Lucene式文本邻近搜索？

针对临床叙事语料的分类需求，下面提供三种适配quanteda生态、复刻Lucene邻近搜索（如"spastic cough"~3）的实用方案：

方案一：基于quanteda kwic的位置差匹配 #

利用kwic()定位关键词在文档中的位置，通过计算词位差筛选符合间隔要求的文档，完全兼容quanteda的tokens对象：

library(quanteda)

# 示例tokens（替换为你的临床语料tokens）
toks <- tokens(c(
  "Patient presents with spastic cough and chest pain.",
  "Spastic muscle tone observed; cough developed 2 days later.",
  "Chronic cough without spastic characteristics."
))

# 获取两个关键词的位置信息
kwic_spastic <- kwic(toks, "spastic", window = 0)
kwic_cough <- kwic(toks, "cough", window = 0)

# 合并文档并筛选位置差≤3（含间隔词）的匹配
matches <- merge(kwic_spastic, kwic_cough, by = "docname")
# 位置差=|pos1-pos2|，≤3+1表示两词之间最多间隔3个词
matches <- matches[abs(matches$position.x - matches$position.y) <= 3 + 1, ]

# 获取匹配的文档ID
matched_docs <- unique(matches$docname)

优势：完全保留quanteda的分词逻辑，可灵活调整间隔阈值，适合临床文本中特殊术语的匹配需求。

方案二：自定义函数批量检查文档匹配 #

编写轻量函数遍历每个文档的tokens，直接判断关键词是否在指定间隔内，适合后续分类任务的批量处理：

has_proximal_match <- function(tokens_obj, term1, term2, max_gap) {
  lapply(tokens_obj, function(doc_toks) {
    pos1 <- which(doc_toks == term1)
    pos2 <- which(doc_toks == term2)
    if (length(pos1) == 0 || length(pos2) == 0) return(FALSE)
    # 计算最小间隔（中间词的数量）
    min_gap <- min(abs(outer(pos1, pos2, "-"))) - 1
    min_gap <= max_gap
  }) %>% unlist()
}

# 筛选匹配文档（max_gap=3表示两词之间最多3个间隔词）
match_flag <- has_proximal_match(toks, "spastic", "cough", max_gap = 3)
matched_docs <- names(toks)[match_flag]

优势：代码简洁，返回逻辑向量可直接用于文档分类（如作为模型特征），无需额外数据转换。

方案三：适配corpustools的类Lucene语法 #

若偏好Lucene风格的查询语法，可手动将quanteda tokens转换为corpustools兼容格式，绕过tokens_to_corpus的问题：

library(corpustools)

# 将quanteda tokens转换为data.frame格式
tokens_df <- data.frame(
  doc_id = rep(names(toks), lengths(toks)),
  token = unlist(toks),
  position = unlist(lapply(lengths(toks), seq_len))
)

# 构建corpustools corpus对象
ct_corpus <- create_corpus(tokens_df, doc_col = "doc_id", token_col = "token", position_col = "position")

# 使用类Lucene邻近查询
search_results <- search_features(ct_corpus, query = '"spastic cough"~3')
matched_docs <- unique(search_results$doc_id)

优势：直接使用熟悉的Lucene查询语法，同时保留quanteda的分词结果，适合习惯该语法的用户。

内容的提问来源于stack exchange，提问作者Francesco Monti