Elasticsearch搜索未使用分析器令牌的问题排查求助

问题现象 #

执行index/_analyze请求：

{
  "analyzer": "autocomplete",
  "field": "name",
  "text": "жаб"
}

得到正确令牌：

{
    "tokens": [{
        "token": "žab",
        "start_offset": 0,
        "end_offset": 3,
        "type": "<ALPHANUM>",
        "position": 0
    }]
}

直接搜索令牌žab能得到结果，但执行以下match查询无返回：

{
  "query": {
    "match": {
      "name": "жаб"
    }
  }
}

执行index/_validate/query?explain验证查询：

{
  "query": {
    "match": {
      "name": "жаб"
    }
  }
}

返回结果显示查询已转换为name:žab：

{
    "_shards": {
        "total": 1,
        "successful": 1,
        "failed": 0
    },
    "valid": true,
    "explanations": [
        {
            "index": "places_for_search",
            "valid": true,
            "explanation": "name:žab"
        }
    ]
}

尝试指定分析器的multi_match查询仍无结果：

{
  "query": {
    "multi_match": {
      "query": "жаб",
      "type": "bool_prefix",
      "fields": [
        "name"
      ],
      "analyzer": "autocomplete"
    }
  }
}

相关配置 #

测试文档 #

{
   "id": "ChIJT3DV8zM5TRMRlVS4y79AH7A",
    "name": "Žabljak"
}

name字段设置 #

{
    "type": "search_as_you_type",
     "doc_values": false,
     "max_shingle_size": 3,
     "analyzer": "autocomplete",
     "search_analyzer": "autocomplete"
}

分析器配置 #

{
  "analyzer": {
    "autocomplete": {
      "filter": [
        "autocomplete",
        "trim",
        "asciifolding",
        "lowercase",
        "serbian_stemmer",
        "russian_stemmer"
      ],
      "type": "custom",
      "tokenizer": "standard"
    }
  }
}

过滤器配置 #

{
  "filter": {
    "russian_stemmer": {
      "type": "stemmer",
      "language": "russian"
    },
    "autocomplete": {
      "type": "edge_ngram",
      "min_gram": "3",
      "max_gram": "15"
    },
    "serbian_stemmer": {
      "type": "stemmer",
      "language": "serbian"
    }
  }
}

调试方法 #

1. 检查文档实际存储的令牌：使用_termvectors API查看目标文档的name字段生成的所有令牌，确认是否包含žab：

GET index/_termvectors/ChIJT3DV8zM5TRMRlVS4y79AH7A
{
  "fields": ["name"],
  "term_statistics": false,
  "field_statistics": false
}

如果返回的令牌中没有žab，说明文档索引时的分析流程和测试的_analyze不一致，需要排查字段配置是否实际生效（比如索引是否是修改配置后重新创建的，文档是否是重新索引的）。

2. 验证索引时的分析结果：使用_analyze API模拟索引阶段的分析（search_as_you_type字段会生成多个子字段，需分别验证）：

POST index/_analyze
{
  "field": "name",
  "text": "Žabljak"
}

同时验证子字段（比如name._2gram、name._3gram）的分析结果，确认是否生成了包含žab的ngram令牌。

3. 调整分析器过滤器顺序：当前分析器中autocomplete edge_ngram过滤器在最前面，会先对原始文本生成ngram，再进行字符转换和词干处理。尝试把autocomplete移到字符处理和词干过滤器之后，保证查询与索引阶段的令牌生成逻辑一致：

{
  "analyzer": {
    "autocomplete": {
      "filter": [
        "trim",
        "asciifolding",
        "lowercase",
        "serbian_stemmer",
        "russian_stemmer",
        "autocomplete"
      ],
      "type": "custom",
      "tokenizer": "standard"
    }
  }
}

4. 查看查询实际执行逻辑：使用_validate/query?explain查看multi_match bool_prefix查询的详细执行逻辑，确认是否正确匹配到search_as_you_type字段的子字段令牌。

5. 直接查询子字段：尝试直接查询search_as_you_type的子字段，缩小问题范围：

{
  "query": {
    "match": {
      "name._index_prefix": "жаб"
    }
  }
}

内容的提问来源于stack exchange，提问作者pregmatch