如何让Elasticsearch分词器为特殊字符生成可搜索分词？

针对你需要让特殊字符（如#、.）可被搜索，同时避免n-gram分词过多的问题，可以通过自定义基于Word Delimiter过滤器的分词器来实现，完美匹配你期望的分词结果。

具体实现步骤 #

1. 创建带自定义分词器的索引 #

通过Elasticsearch的索引设置，定义一个包含word_delimiter过滤器的自定义分词器：

PUT /special_char_search_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "special_char_analyzer": {
          "tokenizer": "standard",
          "filter": [
            "custom_word_delimiter",
            "lowercase"
          ]
        }
      },
      "filter": {
        "custom_word_delimiter": {
          "type": "word_delimiter",
          "split_on_numerics": true,       // 拆分字母与数字（比如#100拆成#和100）
          "split_on_case_change": true,    // 大小写变化时拆分（比如HelloWorld拆成Hello、World）
          "split_on_symbolic": true,       // 符号作为分隔符拆分（比如john.s拆成john、s）
          "generate_word_parts": true,     // 生成单词部分
          "generate_number_parts": true,   // 生成数字部分
          "preserve_original": false,      // 不保留原始未拆分的字符串
          "catenate_words": false,         // 不拼接单词部分
          "catenate_numbers": false,       // 不拼接数字部分
          "catenate_all": false            // 不拼接所有部分
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "special_char_analyzer"
      }
    }
  }
}

2. 测试分词效果 #

用目标文本测试自定义分词器：

POST /special_char_search_index/_analyze
{
  "analyzer": "special_char_analyzer",
  "text": "hey john.s #100 is a test name"
}

返回的分词结果将完全符合你的预期：
["hey", "john", "s", "#", "100", "is", "a", "test", "name"]

方案优势 #

• 避免n-gram分词过多的问题，仅拆分必要的字符，索引体积更小
• 精准拆分带特殊符号的文本（如.分隔的单词、#与数字的组合）
• 保留特殊字符作为独立可搜索的分词，满足特殊字符搜索需求
• 基于standard tokenizer，兼容常规英文文本的分词逻辑

扩展调整 #

如果需要处理其他特殊字符，可通过修改custom_word_delimiter的参数实现：

• 若需保留某些带符号的完整单词，可添加protected_words参数指定（比如["john.s"]）
• 若需调整符号的拆分规则，可修改split_on_symbolic等参数

内容的提问来源于stack exchange，提问作者randomDev