Elasticsearch中simple_query_string查询的停用词处理问题

问题根源 #

当同时查询英文和中文字段时，simple_query_string会对每个字段分别应用其对应的分析器，但查询逻辑用AND连接所有词项。"of"是英文停用词，在英文字段索引时被移除，但中文字段的分析器不会过滤英文停用词，导致查询要求"of"必须出现在某个字段中——而英文字段无此词，中文字段也没有，因此查询无结果。

解决方案1：使用Bool查询拆分字段查询 #

将查询拆分为两个独立的simple_query_string子句，分别针对英文和中文字段，通过bool.should逻辑实现"匹配任意一个字段即可"的需求。这样每个子句会使用对应字段的分析器处理查询词，英文子句自动过滤"of"，中文子句保留所有词项，只要其中一个子句匹配就能返回文档。

GET idx_test/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "simple_query_string": {
            "query": "chief of staff",
            "fields": ["job_titles.job_title-en"],
            "default_operator": "and",
            "flags": "NOT|OR|PHRASE|WHITESPACE"
          }
        },
        {
          "simple_query_string": {
            "query": "chief of staff",
            "fields": ["job_titles.job_title-zh_cn"],
            "default_operator": "and",
            "flags": "NOT|OR|PHRASE|WHITESPACE"
          }
        }
      ],
      "minimum_should_match": 1
    }
  }
}

解决方案2：在查询中全局过滤英文停用词 #

如果不需要在中文字段中匹配英文停用词，可以在simple_query_string中指定stop_words: "_english_"，让查询阶段直接移除英文停用词，这样"of"会被从查询中删除，剩下的"chief"和"staff"只要在任意字段中同时存在就能匹配。

GET idx_test/_search
{
  "query": {
    "simple_query_string": {
      "query": "chief of staff",
      "fields": ["job_titles.job_title-en", "job_titles.job_title-zh_cn"],
      "default_operator": "and",
      "flags": "NOT|OR|PHRASE|WHITESPACE",
      "stop_words": "_english_"
    }
  }
}

注意：此方案会影响所有字段的查询，若中文字段需要匹配"of"这类英文词，该方案不适用。

解决方案3：修改索引映射添加联合字段 #

通过copy_to将英文和中文字段的内容复制到一个新的联合字段，为该字段配置包含英文停用词过滤的分析器，之后直接查询这个联合字段。适合长期多语言查询需求，但需要重新索引现有文档。

修改后的映射：

PUT idx_test
{
  "settings": {
    "analysis": {
      "filter": {
        "en_stop_filter": {
          "type": "stop",
          "stopwords": "_english_"
        },
        "en_stem_filter": {
          "name": "minimal_english",
          "type": "stemmer"
        }
      },
      "analyzer": {
        "en_analyzer": {
          "filter": [
            "icu_folding",
            "icu_normalizer",
            "en_stop_filter",
            "en_stem_filter"
          ],
          "type": "custom",
          "tokenizer": "icu_tokenizer"
        },
        "zh_cn_analyzer": {
          "filter": [
            "icu_folding",
            "icu_normalizer",
            "smartcn_word"
          ],
          "type": "custom",
          "tokenizer": "smartcn_sentence"
        },
        "combined_analyzer": {
          "filter": [
            "icu_folding",
            "icu_normalizer",
            "en_stop_filter",
            "en_stem_filter"
          ],
          "type": "custom",
          "tokenizer": "icu_tokenizer"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "job_titles": {
        "type": "nested",
        "include_in_root": true,
        "properties": {
          "id": {
            "type": "integer"
          },
          "job_title-en": {
            "type": "text",
            "analyzer": "en_analyzer",
            "copy_to": "combined_job_title"
          },
          "job_title-zh_cn": {
            "type": "text",
            "analyzer": "zh_cn_analyzer",
            "copy_to": "combined_job_title"
          }
        }
      },
      "combined_job_title": {
        "type": "text",
        "analyzer": "combined_analyzer"
      }
    }
  }
}

查询联合字段：

GET idx_test/_search
{
  "query": {
    "simple_query_string": {
      "query": "chief of staff",
      "fields": ["combined_job_title"],
      "default_operator": "and",
      "flags": "NOT|OR|PHRASE|WHITESPACE"
    }
  }
}

内容的提问来源于stack exchange，提问作者pmishev