Elasticsearch中standard与语言分析器的区别及搜索提升效果问询

1. standard标准分析器与语言专属分析器的核心区别 #

两者的核心差异主要集中在语言适配能力上，具体可以分为4点：

• 分词逻辑不同：standard分析器是通用型分词组件，仅基于Unicode文本分割规则做通用切词，对所有语言无差别处理，仅支持基础的小写转换、标点过滤；语言专属分析器会结合对应语言的语法规则做定制化切分，比如西班牙语的连写词拆分、德语的复合名词拆分、法语的省音符号处理等，都是standard不支持的能力。
• 词干提取能力不同：standard分析器没有内置任何语言的词干提取/词形还原逻辑，切分后会保留原始词形；语言专属分析器内置对应语言的词干提取器，能把同词根的不同时态、语态、词性的词归一到同一个词干，大幅提升同语义内容的召回率。
• 停用词处理不同：standard分析器默认不带停用词过滤规则，需要手动配置；语言专属分析器默认内置对应语言的高频无意义停用词列表，比如西班牙语的el、la、y这类无实义词汇，都会被默认过滤，减少无效索引占用和无关结果召回。
• 特殊字符适配不同：针对小语种的特殊字符、变体字母，比如阿拉伯语的变体字母归一、泰语的音节切分，standard分析器完全没有适配，只有对应语言的专属分析器能正确处理。

2. 替换为Spanish等语言专属分析器的搜索效果提升幅度及示例 #

针对西班牙语这类屈折变化丰富的语言，替换为专属分析器后，检索准确率通常能提升30%~60%，口语化、时态丰富的内容场景下，长尾搜索的召回率提升甚至能达到70%以上，内容越贴合日常表达，提升幅度越明显。

实际对比示例 #

假设用户搜索词为：¿Cómo correr más rápido?（怎么跑更快？）
待检索的文档库包含3条内容：

1. El atleta corrió 10km ayer（运动员昨天跑了10公里）
2. Corriendo todos los días mejora la resistencia（每天跑步提升耐力）
3. Comprar zapatillas para correr（买跑鞋）

使用standard分析器的检索结果

standard分析器会把搜索词切分为cómo、correr、más、rápido四个独立词项，文档1中的corrió、文档2中的corriendo会被判定为和correr完全无关的词，只有包含correr的文档3会被召回，召回率仅33%，完全匹配不到另外两篇同样和跑步相关的内容。

使用Spanish分析器的检索结果

Spanish分析器会先过滤掉无意义的停用词cómo、más，再对剩余词做词干提取，correr、corrió、corriendo都会被归一到同一个词干corr，最终3篇相关文档都会被召回，召回率100%，同时不会出现带停用词的无关结果。
另外在停用词过滤场景下，比如用户误输入搜索词y correr（和跑步），standard分析器会把y作为检索词，召回所有包含y的无关文档，Spanish分析器会直接过滤掉y这个停用词，仅检索和correr相关的内容，无效结果占比可以降低80%以上。 #

内容的提问来源于stack exchange，提问作者jjj