如何优化Elasticsearch搜索？邮箱@与'at'等效搜索方案咨询

一、如何优化Elasticsearch搜索能力？ #

我来分享几个实战中验证过的优化思路，覆盖从索引设计到集群配置的各个环节：

• 精准设计索引映射：别盲目把所有字段都设为text类型，像邮箱、用户ID这类需要精确匹配的字段，用keyword类型能直接跳过分词步骤，大幅提升查询速度；对于全文搜索字段，根据业务场景选合适的分词器（比如中文用IK分词器做细粒度拆分，英文用Standard分词器），还可以关闭不需要的_source字段或只存储必要字段，减少磁盘占用和查询IO开销。
• 优化查询语句写法：绝对要避免用通配符开头的wildcard或regexp查询（比如*test@xxx.com），这类查询会遍历所有倒排索引，性能拉胯；优先用bool查询组合must/should/filter子句，其中filter子句的结果会被缓存，适合频繁使用的过滤条件；如果需要前缀搜索，用prefix查询或者配置edge_ngram分词器做前缀匹配，比通配符高效太多。
• 用好缓存机制：默认开启的查询缓存要保留，重复的过滤查询能直接返回缓存结果；对于聚合查询，如果字段是keyword类型，可以开启fielddata缓存（注意控制内存占用），或者给terms聚合设置合理的size参数，避免返回过多无用结果。
• 集群与硬件调优：给Elasticsearch分配的堆内存别超过物理内存的50%（最多不超32G），剩下的内存留给操作系统做文件系统缓存；果断换成SSD磁盘，IO性能能提升好几倍；分片数别乱设，一般不超过集群节点数的2-3倍，副本数根据可用性需求来（生产环境至少1个副本）。
• 定期维护索引：低峰期执行forcemerge操作合并小分段，减少分段数量能提升查询效率；及时删除不再使用的旧索引，避免资源浪费；时间序列数据直接用索引生命周期管理（ILM），自动搞定索引的创建、合并、删除。

二、如何同时匹配邮箱中的@和'at'？ #

这里有两种实用方案，你可以根据现有索引结构选择：

方案1：索引阶段统一处理（推荐） #

通过自定义字符过滤器或同义词过滤器，在索引时把@和'at'做统一转换，这样查询时只需输入一种形式就能匹配两种场景。比如配置一个字符过滤器把@替换成'at'：

PUT /email_index
{
  "settings": {
    "analysis": {
      "char_filter": {
        "at_replace": {
          "type": "mapping",
          "mappings": ["@ => at"]
        }
      },
      "analyzer": {
        "email_analyzer": {
          "tokenizer": "keyword",
          "char_filter": ["at_replace"]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "email": {
        "type": "text",
        "analyzer": "email_analyzer",
        "fields": {
          "keyword": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

这样索引时，test@example.com会被转换成testatexample.com，testatexample.com保持不变，查询时搜testatexample.com就能匹配到两种邮箱。

方案2：查询阶段同时匹配两种形式 #

如果没法修改现有索引结构，可以用bool查询的should子句同时命中两种模式：

GET /email_index/_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "email": "test@example.com" } },
        { "match": { "email": "testatexample.com" } }
      ],
      "minimum_should_match": 1
    }
  }
}

也可以用正则表达式查询（注意：大索引下慎用，性能不如前两种方案）：

GET /email_index/_search
{
  "query": {
    "regexp": {
      "email": "test(@|at)example\\.com"
    }
  }
}

另外，配置同义词过滤器把@和'at'设为同义词也是个不错的选择，不管索引时存的是哪种形式，查询时输入任意一种都能匹配到。

内容的提问来源于stack exchange，提问作者Y.Y.