Elasticsearch n-gram分词器搭配match_phrase查询未达预期结果求助

问题重现 #

你创建了如下NGram分词索引：

PUT /ngram_tokenizer
{
  "mappings": {
    "properties": {
      "test_name": {
      "type": "text",
      "analyzer": "my_analyzer"
    }
  } 
},
  "settings": {
    "index": {
      "max_ngram_diff": 20
    },
    "analysis": {
      "tokenizer": {
        "my_tokenizer": {
          "type": "ngram",
          "min_gram": 2,
          "max_gram": 20,
          "token_chars":[
            "letter",
            "digit",
            "whitespace",
            "symbol"
            ]
        }
      },
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      }
    }
  }
}

写入两个文档：

POST /ngram_tokenizer/_doc
{
  "test_name": "test document"
}

POST /ngram_tokenizer/_doc
{
  "test_name": "another document"
}

执行match_phrase查询"document"能返回两个文档，但查询"test"无结果，而match查询正常工作。你的需求是：match支持容错搜索（拼写错误也能返回结果），match_phrase在无拼写错误时返回精准结果。

问题根源 #

问题出在索引和搜索共用了同一个NGram分词器：

• 索引时，"test document"会被拆分成大量连续NGram，比如te、tes、test、test 、es、st、do、doc...document等。
• 用match_phrase查询"test"时，搜索词会被NGram分词器拆成te、es、st三个分词。match_phrase要求这些分词在索引中按顺序连续出现，但原文档的NGram序列里，te之后是tes、test，并非直接跟es，所以无法匹配。
• 查询"document"时，搜索词被拆成do、oc、cu...nt，这些分词在原文档的NGram序列里是连续的（对应"document"的完整NGram链），因此能匹配成功。

解决方案 #

给字段设置索引与搜索分离的分词策略：索引用NGram分词器保证容错能力，搜索时用标准分词器处理match_phrase的搜索词，让它按完整短语匹配。

修改后的索引设置如下：

PUT /ngram_tokenizer
{
  "mappings": {
    "properties": {
      "test_name": {
        "type": "text",
        "index_analyzer": "my_analyzer", // 索引阶段用NGram分词
        "search_analyzer": "standard"    // 搜索阶段用标准分词
      }
    } 
  },
  "settings": {
    "index": {
      "max_ngram_diff": 20
    },
    "analysis": {
      "tokenizer": {
        "my_tokenizer": {
          "type": "ngram",
          "min_gram": 2,
          "max_gram": 20,
          "token_chars":[
            "letter",
            "digit",
            "whitespace",
            "symbol"
          ]
        }
      },
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      }
    }
  }
}

验证效果 #

1. 重新写入文档后，执行match_phrase查询"test"：

GET /ngram_tokenizer/_search
{
  "query": {
    "match_phrase": {
      "test_name": "test"
    }
  }
}

此时搜索词"test"会被标准分词器处理成单个分词test，而索引中存在该NGram，因此能匹配到第一个文档。

2. 执行match_phrase查询"document"，依然能返回两个文档，符合预期。

3. match查询仍支持容错，比如搜索"tst"（拼写错误），依然能通过NGram匹配到包含"test"的文档。

补充说明 #

如果需要更精细的控制，也可以自定义搜索用的分词器（比如过滤停用词），核心逻辑就是索引分词面向容错，搜索分词面向精准短语匹配，分离两者即可同时满足你的两个需求。

内容的提问来源于stack exchange，提问作者randomDev