JS如何高效统计大文本中数组内每个正则关键词的出现次数

核心问题分析 #

当前实现的时间复杂度为O(K*T)，其中K为关键词数量、T为文本长度，每新增一个关键词就要完整扫描一次全文，体量上来后运行速度必然大幅下降。

分场景优化方案 #

场景1：所有关键词均为普通字符串（无正则匹配需求） #

直接使用Aho-Corasick自动机（AC自动机），仅需遍历文本1次就能完成所有关键词的计数，时间复杂度稳定在O(T + L + R)，其中L是所有关键词的总长度，R是匹配结果总数量，是这类场景的最优解。
核心实现逻辑：

1. 把所有关键词构建成前缀树（Trie树）
2. 给前缀树的每个节点添加失败指针，逻辑类似KMP算法的失败跳转规则
3. 遍历文本一次，沿着前缀树节点跳转，遇到匹配节点就累计对应关键词的计数

场景2：关键词包含正则表达式 #

AC自动机无法直接支持正则的特殊匹配规则，可通过分层预处理减少无效扫描：

• 关键词拆分归类：把关键词里纯字符串的部分单独摘出，先用AC自动机完成这部分的计数，直接省掉这部分关键词的全文扫描开销。
• 正则关键词预处理：对每个正则关键词，先提取其中的固定字面量片段（比如ar\.i\.t可提取出ar、i、t三个固定片段），先用AC自动机扫一遍全文，只有文本中包含该正则对应的所有固定片段时，才执行后续的正则匹配，否则直接记次数为0，跳过整个正则扫描流程。
• 正则匹配逻辑优化：
  1. 提前预编译所有正则表达式，不要在循环中重复执行new RegExp，避免重复编译的性能损耗
  2. 用RegExp.exec()替代String.match()，大文本场景下内存开销更低、执行速度更快，优化后代码示例如下：

const text = "..."
// 提前预编译所有正则
const regexList = keywords.map(keyword => new RegExp(keyword, "gi"))
const countResult = new Array(keywords.length).fill(0)

regexList.forEach((re, idx) => {
  let match
  // 重置正则的lastIndex，避免上次匹配的结果影响当前计数
  re.lastIndex = 0
  while ((match = re.exec(text)) !== null) {
    countResult[idx]++
    // 避免零宽匹配造成的死循环
    if (match[0].length === 0) re.lastIndex++
  }
})

额外性能提升方案 #

如果是Node.js环境且文本/关键词体量极大，可以把关键词拆分成多组，用Worker池分配给多个线程并行处理，充分利用多核CPU的性能，速度可提升数倍。

内容的提问来源于stack exchange，提问作者Andrusa