Solr如何实现带TF评分的部分令牌匹配及高级搜索功能？

1. 使用EdgeNGramFilterFactory（前缀匹配场景） #

如果你的需求更偏向前缀匹配（比如「Cali」匹配「California」），可以在字段的索引阶段配置EdgeNGramFilterFactory，生成令牌的前缀片段，这样查询时用精确匹配就能命中，同时保留tf-idf评分。

字段配置示例： #

<fieldType name="text_edge_ngram" class="solr.TextField" positionIncrementGap="100">
  <analyzer type="index">
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <!-- 生成2-15长度的前缀片段，可按需调整min/maxGramSize -->
    <filter class="solr.EdgeNGramFilterFactory" minGramSize="2" maxGramSize="15" side="front"/>
    <!-- 针对带连字符的令牌，拆分出独立部分并保留原始令牌 -->
    <filter class="solr.WordDelimiterGraphFilterFactory" generateWordParts="1" generateNumberParts="1" splitOnCaseChange="1" splitOnNumerics="1" preserveOriginal="1"/>
  </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
</fieldType>

• 索引时，「California」会被拆分为ca, cal, cali, calif, ..., california等前缀令牌。
• 查询name:cali时，会精确匹配到索引中的cali令牌，正常计算tf-idf评分，无需通配符。

2. 使用NGramFilterFactory（任意位置的部分匹配） #

如果需要支持任意位置的子串匹配（比如「ABCD」匹配「CA-1234-ABCD」，「1234」匹配「CA-1234-ABCD」），可以用NGramFilterFactory生成所有长度的子串令牌。

字段配置示例： #

<fieldType name="text_ngram" class="solr.TextField" positionIncrementGap="100">
  <analyzer type="index">
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <!-- 生成2-10长度的所有子串，按需调整范围 -->
    <filter class="solr.NGramFilterFactory" minGramSize="2" maxGramSize="10"/>
    <filter class="solr.WordDelimiterGraphFilterFactory" generateWordParts="1" generateNumberParts="1" splitOnCaseChange="1" splitOnNumerics="1" preserveOriginal="1"/>
  </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
</fieldType>

• 索引时，「CA-1234-ABCD」会被拆分为ca, a-, -1, 12, ..., abcd等子串令牌。
• 查询name:abcd或name:1234时，直接精确匹配索引中的对应子串，保留评分功能。

3. 用WordDelimiterGraphFilterFactory处理结构化令牌 #

针对「CA-1234-ABCD」这类带分隔符的令牌，WordDelimiterGraphFilterFactory可以将其拆分为独立的部分（比如CA, 1234, ABCD），同时保留原始令牌，这样既支持精确匹配原始串，也支持匹配拆分后的单个部分。

关键配置参数说明： #

• generateWordParts="1"：拆分字母部分
• generateNumberParts="1"：拆分数字部分
• preserveOriginal="1"：保留原始令牌不被丢弃
• splitOnCaseChange="1"：大小写变化时拆分（比如「CA123」会拆成「CA」和「123」）

关于你的折中方案name:cali OR name:*cali* #

这个方案可临时解决问题，但存在明显弊端：

• name:*cali*属于前缀通配符查询，Solr无法使用倒排索引快速查找，只能遍历所有文档，性能随数据量增大急剧下降。
• 通配符查询的评分逻辑和精确匹配不一致，会导致结果排序混乱。

因此更推荐使用上述NGram/EdgeNGram的原生索引阶段处理方案，从根本上解决部分匹配+保留评分的需求。

内容的提问来源于stack exchange，提问作者Fedaykin