R quanteda包kwic函数负向回溯正则匹配失效问题求助

问题重现 #

你尝试用负向回溯正则匹配前面未出现in、of或and的history词汇，该正则在PCRE引擎（如regex101）中有效，但在quanteda的kwic函数（基于stringi的ICU正则引擎）中无法过滤掉目标匹配项。示例代码如下：

library(quanteda)

txt <- c(
  "The history of Rome",
  "A history in books",
  "and history lessons",
  "Medieval history"  # 预期保留的匹配项
)

# PCRE有效但ICU无效的正则
pattern <- "(?<!\\b(?:in|of|and)\\s)\\bhistory\\b"

kwic(txt, pattern, valuetype = "regex")

运行后会发现最后一项以外的匹配项也被保留，未达到预期过滤效果。

原因分析 #

regex101默认使用PCRE引擎，支持可变长度的负向回溯断言；而quanteda依赖的stringi使用ICU正则引擎，仅支持固定长度的负向回溯断言。你原正则中的(?<!\\b(?:in|of|and)\\s)包含可变长度的子模式（in\\s是3字符，and\\s是4字符），ICU无法解析这种可变长度的后行断言，导致匹配逻辑失效。

解决方案 #

方案1：改写为ICU兼容的固定长度负向回溯断言 #

将可变长度的复合断言拆分为多个固定长度的独立断言，每个断言对应一个目标前置词：

# ICU兼容的正则
pattern <- "(?<!\\bin\\s)(?<!\\bof\\s)(?<!\\band\\s)\\bhistory\\b"

kwic(txt, pattern, valuetype = "regex")

此正则通过三个固定长度的负向后行断言（in\\s、of\\s为3字符，and\\s为4字符），精准排除前置词为in、of、and的history，ICU引擎可正确解析。

方案2：先匹配再手动过滤 #

如果正则改写较复杂，可先获取所有history的匹配结果，再通过上下文过滤不符合条件的项：

# 先匹配所有history
kwic_all <- kwic(txt, "\\bhistory\\b", valuetype = "regex")

# 过滤前置词为in/of/and的匹配项
kwic_filtered <- kwic_all[!grepl("\\b(in|of|and)\\s$", kwic_all$pre), ]
print(kwic_filtered)

此方法通过检查匹配项的左侧上下文（pre字段）是否以in、of或and加空格结尾，实现过滤效果，无需依赖ICU的负向回溯语法。

内容的提问来源于stack exchange，提问作者pluke