如何在Elasticsearch已分析文本字段中搜索斜杠等保留字符？

问题原因 #

• 你使用的eng_stemmer分析器依赖standard分词器，该分词器会将/识别为分隔符，导致C/C被拆分为两个独立token：c和c，因此查询返回大量包含这两个字符的结果。
• exact字段采用keyword分词器，会将整个字段内容作为单个token存储，当文本长度超过32766字节时就会触发报错，无法适配长文本场景。

解决方案 #

方案1：添加保留特殊字符的子字段 #

给description字段新增一个子字段，使用自定义分析器确保C/C被作为单个token处理：

1. 创建自定义分析器

{
  "settings": {
    "analysis": {
      "analyzer": {
        "preserved_analyzer": {
          "tokenizer": "whitespace",
          "char_filter": ["html_strip"],
          "filter": ["lowercase"]
        }
      }
    }
  }
}

该分析器通过whitespace分词器仅按空格拆分文本，C/C会被完整保留为一个token，同时保留HTML过滤和小写转换逻辑。

2. 更新字段映射

{
  "mappings": {
    "properties": {
      "description": {
        "type": "text",
        "analyzer": "eng_stemmer",
        "fields": {
          "exact": {
            "type": "text",
            "analyzer": "exact_lowercase"
          },
          "preserved": {
            "type": "text",
            "analyzer": "preserved_analyzer"
          }
        }
      }
    }
  }
}

更新映射后需要重新索引数据，确保新字段生效。

3. 使用子字段查询

{
  "query": {
    "match": {
      "description.preserved": "C/C"
    }
  }
}

如果需要严格匹配顺序，可改用match_phrase查询。

方案2：修改现有分析器的分词规则 #

若不想新增字段，可修改eng_stemmer的分词器，自定义分隔符规则以保留/：

1. 定义自定义分词器

{
  "settings": {
    "analysis": {
      "tokenizer": {
        "custom_tokenizer": {
          "type": "pattern",
          "pattern": "[^\\w/]+" // 仅将非单词、非/的字符作为分隔符
        }
      },
      "analyzer": {
        "eng_stemmer": {
          "tokenizer": "custom_tokenizer",
          "char_filter": ["html_strip"],
          "filter": [
            "english_possessive_stemmer",
            "lowercase",
            "english_stemmer"
          ]
        }
      }
    }
  }
}

2. 重新索引数据后，原description字段即可正确识别C/C为单个token，直接使用原查询逻辑即可（注意query_string中需正确转义："query": "C\\/C"）。

方案3：适配短文本的精确匹配（局限性较大） #

仅当你的文本长度普遍较短时，可调整exact字段的映射，忽略过长文本：

1. 更新映射并添加normalizer

{
  "settings": {
    "analysis": {
      "normalizer": {
        "lowercase_normalizer": {
          "type": "custom",
          "char_filter": ["html_strip"],
          "filter": ["lowercase"]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "description": {
        "type": "text",
        "analyzer": "eng_stemmer",
        "fields": {
          "exact": {
            "type": "keyword",
            "ignore_above": 32766,
            "normalizer": "lowercase_normalizer"
          }
        }
      }
    }
  }
}

2. 使用term查询精确匹配：

{
  "query": {
    "term": {
      "description.exact": "c/c"
    }
  }
}

此方案无法匹配长度超过32766字节的文本，仅适合特定场景。

内容的提问来源于stack exchange，提问作者cracanut