Elasticsearch match_phrase_prefix查询土耳其字符返回异常结果问题

这个反常现象是两个问题叠加导致的，核心诱因是未配置土耳其语专用分析器：

• 默认分析器不兼容土耳其语的特殊字符规则
  Elasticsearch默认的standard分析器用通用Unicode规则做大小写转换，完全不支持土耳其语特有的大小写映射逻辑：土耳其语里带点大写İ对应小写i，无点大写I对应无点小写ı，但通用规则会把带点大写İ转换成「普通i+组合点附标」的双字符序列，和输入的单字符小写i是完全不同的分词term，正常情况下无法匹配。你看到返回结果里有İstanbul Üni....形式的内容，只是长查询触发了临时Unicode兼容匹配的偶然结果，不是默认分析器真的能正确识别土耳其语大写i。
• 短前缀查询的默认扩展截断导致漏召回
  match_phrase_prefix查询对最后一个前缀term默认设置了max_expansions=50的限制：ES最多只会从倒排词典里取出50个符合前缀要求的term参与匹配，取词顺序按词典默认排序。
  当搜索istanbul ü时，最后一个前缀是单字符ü，倒排里以ü开头的term数量远超过50，ES取前50个term的时候没有覆盖üni开头的长词term，再加上第一个termistanbul的大小写匹配问题，最终只命中9条结果。
  当把搜索词加长到istanbul üni时，最后一个前缀变成üni，倒排里以üni开头的term总数不足50，所有相关term都被纳入匹配范围；同时多字符前缀匹配触发了ES的Unicode兼容归一逻辑，把之前因为带组合附标匹配不上的2条İstanbul开头的文档也召回了，最终命中数涨到11，就出现了搜索词更长、命中数反而更高的反常情况。

• 给存储PDF内容的字段配置土耳其语专用分析器，使用官方提供的turkish小写过滤器替换默认的小写过滤器，从根源修正土耳其语特殊字符的大小写映射问题。
• 临时缓解漏召回可以适当调大match_phrase_prefix的max_expansions参数，避免前缀过短时因为扩展截断丢结果。
• 如果是做输入联想类的搜索，不建议长期用match_phrase_prefix，换成search_as_you_type字段类型通过边N-gram分词做匹配，召回稳定性会高很多。

内容的提问来源于stack exchange，提问作者mustafa