Solr 8.4.1 带W240前缀的产品词组精确查询无返回问题排查

这是Solr短语查询场景下的典型分词匹配问题，核心原因是product_related_kword字段的分词规则导致索引生成的token序列和查询解析的token序列无法匹配，具体可分为以下几种常见情况：

• W240类混合字符token被过滤或拆分

你使用的分词链中可能包含WordDelimiterGraphFilter、自定义停用词过滤器等组件，对字母+数字组合的W240做了特殊处理：要么被拆分为W、240两个独立token，要么被直接当作无效词过滤。此时索引中存储的该字段token序列为[cashew, nut, 00]，和不带W240的查询短语完全匹配，因此带W240的查询无法命中。

• 短语查询的位置连续性不满足

精确短语查询要求token的顺序、相对位置完全匹配。如果索引时W240虽然被保留，但分词后的位置偏移和查询侧解析的位置偏移不一致，也会导致匹配失败。比如索引侧W240被拆为两个token，那么cashew的位置序号是2，而查询侧W240是单个token，cashew的位置序号是1，位置无法对齐就会匹配失败。

• 索引侧和查询侧的分词规则不一致

如果fieldType配置中indexAnalyzer和queryAnalyzer的规则不同，比如索引侧拆分混合字符、查询侧不拆分，也会出现该类问题。

1. 直接使用Solr后台的Analysis分析页面，选择product_related_kword字段，分别输入索引侧文本W240 Cashew Nuts 00和查询侧文本W240 Cashew nut 00，对比两侧生成的token序列、位置、词形是否一致，即可快速定位问题。
2. 查看你请求中debugQuery=on返回的parsedQuery和explain字段，可直接看到查询被解析后的结构，以及文档未命中的具体原因。

内容的提问来源于stack exchange，提问作者abhay patel