ElasticSearch：使用ngram分析器处理撇号搜索问题

你遇到的核心问题是默认分词器会把撇号当作单词分隔符，导致"arc'hant"先被拆成"arc"和"hant"两个独立token，之后NGram过滤器再分别对这两个token生成子串，自然会返回包含任意一个子串的结果。要解决这个问题，关键是让分词器把带撇号的内容当作一个完整的token，再做NGram处理。

下面是具体的解决方案：

1. 重新定义自定义分析器 #

你需要创建一个不会拆分撇号的分词器，搭配NGram过滤器组成新的分析器。这里推荐用pattern分词器，通过正则表达式匹配包含撇号的完整单词：

PUT /your_index_name
{
  "settings": {
    "analysis": {
      "analyzer": {
        "custom_ngram_analyzer": {
          "tokenizer": "apostrophe_friendly_tokenizer",
          "filter": [
            "lowercase",
            "custom_ngram_filter"
          ]
        }
      },
      "tokenizer": {
        "apostrophe_friendly_tokenizer": {
          "type": "pattern",
          "pattern": "[\\w']+"  // 匹配字母、数字、下划线和撇号组成的连续字符串
        }
      },
      "filter": {
        "custom_ngram_filter": {
          "type": "ngram",
          "min_gram": 2,  // 根据你的需求调整最小子串长度
          "max_gram": 10  // 根据你的需求调整最大子串长度
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "your_field_name": {
        "type": "text",
        "analyzer": "custom_ngram_analyzer",
        "search_analyzer": "custom_ngram_analyzer"  // 搜索时也要用同一个分析器
      }
    }
  }
}

2. 验证分析器效果 #

创建好索引后，用_analyze API测试一下，确认"arc'hant"被正确处理：

POST /your_index_name/_analyze
{
  "analyzer": "custom_ngram_analyzer",
  "text": "arc'hant"
}

你会看到生成的tokens包含arc'、arc'h、arc'ha、arc'hant这类带撇号的子串，而不是只拆分出arc和hant的子串。

3. 搜索测试 #

现在搜索"arc'hant"时，分析器会将搜索词处理成包含撇号的子串，只会匹配真正包含"arc'hant"（或其带撇号子串）的文档，不会再返回只含"arc"或"hant"的非预期结果。

关键原理说明 #

原来的问题出在分词阶段：默认的standard分词器会把撇号视为单词边界，提前拆分了带撇号的内容。通过自定义pattern分词器，我们告诉Elasticsearch把[a-zA-Z0-9']组成的连续字符串当作一个完整token，之后NGram过滤器再基于这个完整token生成子串，就能保留撇号的上下文关联了。

内容的提问来源于stack exchange，提问作者krakig