如何正确集成Solr 8.11的MinHash查询解析器？

问题描述 #

尝试使用Solr 8.11的MinHash Query Parser实现Jaccard相似度搜索，已配置对应的字段类型与字段：

<field name="min_hash_analysed" type="text_min_hash" multiValued="false" indexed="true" stored="false" />

<fieldType name="text_min_hash" class="solr.TextField" positionIncrementGap="100">
        <analyzer>
            <tokenizer class="solr.ICUTokenizerFactory"/>
            <filter class="solr.ICUFoldingFilterFactory"/>
            <filter class="solr.ShingleFilterFactory" minShingleSize="5" outputUnigrams="false" outputUnigramsIfNoShingles="false" maxShingleSize="5" tokenSeparator=" "/>
            <filter class="org.apache.lucene.analysis.minhash.MinHashFilterFactory" bucketCount="512" hashSetSize="1" hashCount="1"/>
        </analyzer>
    </fieldType>

向字段存入文本后，使用查询语句：

{!min_hash field="min_hash_analysed" sim="0.5" tp="0.5"}与已保存文档文本高度相似的内容

始终返回"numFound":0，无法得到预期的相似文档结果。

正确实现与问题修复步骤 #

1. 修正字段的多值配置 #

MinHashFilter会生成多个哈希桶对应的token，单值字段（multiValued="false"）会丢失大部分哈希数据，导致无法进行相似度匹配。将字段配置改为：

<field name="min_hash_analysed" type="text_min_hash" multiValued="true" indexed="true" stored="false" />

2. 调整分析链参数 #

• ShingleFilter参数：minShingleSize="5"要求文本至少生成5个连续token的shingle，如果测试文本过短，会没有输出token，导致MinHash无数据。可以降低shingle大小（比如设为2或3），或者开启outputUnigrams="true"作为 fallback：

  <filter class="solr.ShingleFilterFactory" minShingleSize="2" outputUnigrams="true" maxShingleSize="3" tokenSeparator=" "/>
  

• MinHashFilter参数：默认的bucketCount=512、hashCount=1、hashSetSize=1对于小文本来说过于严格，容易导致匹配失败。建议调整为更适合的参数：

  <filter class="org.apache.lucene.analysis.minhash.MinHashFilterFactory" bucketCount="64" hashSetSize="2" hashCount="4"/>
  

3. 验证分析链的一致性 #

使用Solr Admin的Analysis页面，输入测试文本，分别查看「索引时」和「查询时」的token输出：

• 确认两个阶段的token完全一致，包括shingle生成和MinHash的bucket输出。
• 如果某一阶段没有输出token，说明分析链存在问题（比如文本过短、shingle参数不合理）。

4. 检查索引数据有效性 #

通过Solr的terms查询，确认min_hash_analysed字段是否有索引term：

q=*:*&rows=0&terms=true&terms.fl=min_hash_analysed&terms.limit=20

如果没有返回任何term，说明索引时分析链没有生成有效数据，需要重新调整分析参数。

5. 调整查询参数阈值 #

测试阶段先降低相似度阈值，确保能返回结果后再逐步优化：

{!min_hash field="min_hash_analysed" sim="0.1" tp="0.1"}测试相似文本

待能正常返回结果后，再逐步提高sim和tp到业务需要的阈值。

内容的提问来源于stack exchange，提问作者Kipras Bielinskas