ElasticSearch使用common_gram过滤器时索引与查询阶段Token不一致问题

核心原因 #

你遇到的问题本质是common_grams过滤器在索引与查询阶段的默认行为不一致，或查询时未使用与索引阶段匹配的分析器，导致两边生成的Token无法对应：

• 索引阶段：common_grams默认会生成两类Token：单个词项（包括常用词）、常用词与相邻词的组合词项（比如波斯语常用词و会和前后词生成کلمه_و、و_کلمه）。
• 查询阶段：默认query_mode: false，过滤器只会生成常用词的组合词项，不会保留单个词项；如果查询时没指定对应分析器，Elasticsearch会用默认分析器处理，进一步加剧Token差异。

解决方案 #

1. 强制查询阶段使用与索引一致的分析器 #

要么在查询语句中显式指定分析器，要么在字段映射中配置search_analyzer与索引分析器一致：

• 方式一：查询时指定分析器

{
  "query": {
    "match": {
      "title_fa": {
        "query": "待测查询文本",
        "analyzer": "index_grams"
      }
    }
  }
}

• 方式二：在字段映射中固化查询分析器

{
  "mappings": {
    "properties": {
      "title_fa": {
        "type": "text",
        "analyzer": "index_grams",
        "search_analyzer": "index_grams"
      }
    }
  }
}

2. 调整common_grams的查询模式 #

将过滤器的query_mode设为true，让查询阶段也生成单个词项+组合词项，与索引阶段逻辑完全对齐：

{
  "settings": {
    "analysis": {
      "filter": {
        "common_grams": {
          "type": "common_grams",
          "common_words": ["و", "در", "به"], // 替换为你的波斯语常用词列表
          "query_mode": true
        }
      },
      "analyzer": {
        "index_grams": {
          "tokenizer": "whitespace",
          "filter": ["common_grams"]
        }
      }
    }
  }
}

3. 验证Token生成一致性 #

用_analyze API分别测试索引和查询阶段的Token输出，确认是否匹配：

// 测试索引阶段Token
{
  "analyzer": "index_grams",
  "text": "待测文本"
}

// 测试查询阶段Token（若配置了search_analyzer则用对应名称）
{
  "analyzer": "index_grams",
  "text": "查询文本"
}

内容的提问来源于stack exchange，提问作者Farnaz Maleki