Elasticsearch 如何实现将"and"与"&"连接的词汇自动合并归一化

核心思路调整 #

之前碰到“分析器还没执行就被拆成独立token”的问题，本质是把处理逻辑放错了管线位置。字符过滤器是ES分析管线中最早执行的环节，运行时文本还未被分词器切割、仍是整段连续字符串，完全可以在分词动作发生前就完成连接符的归一化，从根源上避免跨token拼接的难题，比后置补丁式的处理方案优雅得多。
不需要专门自定义分词器把"henry & william"强行切成独立短语，靠前置字符过滤器就能覆盖所有归一化场景。

具体组件实现 #

1. 自定义字符过滤器 #

用原生的pattern_replace字符过滤器，直接在整段文本阶段完成替换，覆盖所有连接符场景：

• 匹配任意位置出现的&（兼容前后无空格、带单个/多个空格的情况），替换为空
• 匹配作为独立连词出现的and（通过单词边界校验，避免误伤包含"and"的常规单词，比如sandwich、island），连同前后的多余空格替换为空

2. 分析器管线组装 #

按照ES管线的执行顺序，依次挂载字符过滤器、分词器、通用过滤器：

PUT /search_demo_index
{
  "settings": {
    "analysis": {
      "char_filter": {
        "connect_norm": {
          "type": "pattern_replace",
          "pattern": "(?i)\\s*&\\s*|(^|\\s+)\\band\\b(\\s+|$)",
          "replacement": ""
        }
      },
      "analyzer": {
        "norm_analyzer": {
          "type": "custom",
          "char_filter": ["connect_norm"],
          "tokenizer": "standard",
          "filter": ["lowercase"]
        }
      }
    }
  }
}

正则规则说明：

• (?i)开启大小写不敏感匹配，兼容And、AND等大小写变体
• \\s*&\\s*覆盖所有&的连接场景，包括无空格的henry&william、带任意空格的henry & william
• (^|\\s+)\\band\\b(\\s+|$)通过单词边界匹配独立连词and，可兼容句子开头、结尾的and场景，确保不会误修改本身包含and字符的普通词汇

方案效果验证 #

针对所有测试输入，调用_analyze接口验证输出完全符合预期：

• 输入"henry&william book"：经字符过滤器处理后得到henrywilliam book，最终分词结果为["henrywilliam", "book"]
• 输入"henry & william book"：经字符过滤器去除中间的&及多余空格，处理后文本同上
• 输入"henry and william book"：经字符过滤器去除中间的and，处理后文本同上
• 输入"henry william book"：无匹配的连接符，字符过滤器不做任何改动，最终分词结果为["henry", "william", "book"]，完全保留原义

方案优势 #

• 没有额外的自定义分词逻辑维护成本，直接复用ES原生标准分词器，不会因为分词规则漏匹配出现召回偏差
• 从执行时机上规避了“跨token拼接”的技术难点：在文本还是整段连续字符串时完成归一化，不需要等token被切开后再做合并操作
• 规则兼容性更强：通过正则可以灵活覆盖任意空格数、大小写的连接符变体，不需要针对每种输入格式写单独的替换规则
• 误伤风险低：通过单词边界校验，不会破坏正常词汇的结构

内容的提问来源于stack exchange，提问作者Mathias Lykkegaard Lorenzen