高效准确识别调研评论中的人名及性能优化方案求助

核心问题拆解 #

• 误识别：原代码未限制完整单词匹配，导致部分字符串（如"Robbing"中的"Rob"）被误判为人名。
• 速度慢：循环调用grepl处理80K人名，重复扫描40K评论，计算量巨大，效率极低。

优化方案实现 #

1. 解决误识别：正则单词边界约束 #

通过正则表达式的\\b标记单词边界，确保仅匹配完整的人名，避免部分字符被误识别。

2. 提升速度：单正则表达式批量匹配 #

将所有人名合并为一个正则模式，仅需一次扫描即可完成所有匹配，彻底消除循环带来的冗余计算。

完整代码示例 #

# 示例数据
SurveyID <- 1:4
Comments <- c("I'm very dissatisfied with Ian Smith as he is not very inclusive", 
              "May Horner is a great person and I recommend her",
              "Robbing is at an all-time high", 
              "The person in charge may be clear but I'm not")
CommentsData <- data.frame(SurveyID = SurveyID, Comments=Comments)

names <- c("Ian", "May", "John", "Rob", "Emily", "Todd")

# 步骤1：转义人名中的正则特殊字符（如.、*等，避免正则语法错误）
escaped_names <- gsub("([\\.\\*\\+\\?\\|\\(\\)\\[\\]\\{\\}\\\\^\\$])", "\\\\\\1", names)

# 步骤2：构建带单词边界的正则表达式
name_pattern <- paste0("\\b(", paste(escaped_names, collapse = "|"), ")\\b")

# 步骤3：快速匹配并标记
CommentsData$flag <- ifelse(grepl(name_pattern, CommentsData$Comments, ignore.case = FALSE), "Name", "Clear")

# 查看结果
CommentsData

运行后得到符合预期的结果：

进阶提速：使用stringi包 #

针对超大规模数据（40K评论+80K人名），可以用stringi包的正则函数，其执行速度比base R的grepl更快：

library(stringi)
CommentsData$flag <- ifelse(stri_detect_regex(CommentsData$Comments, name_pattern, case_insensitive = FALSE), "Name", "Clear")

注意事项 #

• 大小写匹配：若需要忽略大小写（如同时匹配"may"和"May"），将ignore.case或case_insensitive参数设为TRUE。
• 复合人名：如果人名列表包含复合名（如"Ian Smith"），直接加入列表即可，正则会自动匹配完整的复合名。
• 特殊字符处理：转义步骤确保人名中的正则特殊字符不会破坏正则语法，无需额外处理单引号、空格等非特殊字符。

内容的提问来源于stack exchange，提问作者Ian Clifford