Hibernate Search 5.11.5与Lucene全停用词回退搜索实现咨询
问题根因
当前全停用词条目无法检索的核心是StopFilterFactory的链路逻辑:
- 索引阶段:像"this will be"这类完全由停用词组成的内容,经过带StopFilterFactory的分析器处理后没有任何有效Token,Lucene不会在该字段写入任何倒排索引项,相当于这部分内容在倒排结构中完全不存在。
- 查询阶段:哪怕直接整句搜索"this will be",查询串经过相同的停用词分析器后也会被过滤为空查询,自然无法匹配到索引内容。
实现方案
本方案完全适配Hibernate Search 5.11.5 + Lucene 5.5.5版本,不改动原有常规检索的行为,仅对“完全由停用词组成的索引条目”单独实现匹配逻辑,严格贴合需求的匹配边界。
索引层改造
- 保留原有常规检索的字段和分析器配置,确保原有检索逻辑不受影响:
原有带停用词过滤的分析器可沿用如下配置(和当前使用逻辑一致):
对应实体上的字段注解保持不变即可,常规内容的检索效果和之前完全一致。@AnalyzerDef(name = "standard-stopword-analyzer", tokenizer = @TokenizerDef(factory = StandardTokenizerFactory.class), filters = { @TokenFilterDef(factory = LowerCaseFilterFactory.class), @TokenFilterDef(factory = StopFilterFactory.class, params = { @Parameter(name = "words", value = "org/apache/lucene/analysis/en/stopwords.txt"), @Parameter(name = "ignoreCase", value = "true") }) }) - 新增无停用词的分析器配置,用于全停用词判断和查询分词:
@AnalyzerDef(name = "no-stopword-analyzer", tokenizer = @TokenizerDef(factory = StandardTokenizerFactory.class), filters = { @TokenFilterDef(factory = LowerCaseFilterFactory.class) }) - 搭建全停用词条目的内存缓存:
- 基于Hibernate Search的索引事件监听,在每次歌曲标题写入、更新、删除时,用
no-stopword-analyzer对标题做分词,将分词结果转小写后判断:所有分词是否100%属于StopAnalyzer.ENGLISH_STOP_WORDS_SET。 - 将符合“全停用词”条件的条目存入内存缓存,缓存内容包含:歌曲实体ID、标题对应的分词集合S_D。
- 索引变更时同步更新缓存,保证缓存数据和索引内容一致。
实际业务中全停用词的标题占比极低,内存遍历的性能可以完全支撑,不需要额外的复杂Lucene查询逻辑。
- 基于Hibernate Search的索引事件监听,在每次歌曲标题写入、更新、删除时,用
查询层逻辑改造
每次发起搜索时,按以下流程执行,不改动原有常规检索的代码:
- 第一步:按原有逻辑执行常规检索,使用
standard-stopword-analyzer匹配原有标题字段,得到常规检索结果集,这部分结果的排序、权重、精度和之前完全一致。 - 第二步:执行全停用词的回退匹配:
- 把用户输入的原始搜索串,用
no-stopword-analyzer做分词,所有分词转小写,得到查询分词集合S_Q。 - 遍历内存缓存中所有的全停用词条目,逐个判断:如果条目的分词集合S_D是S_Q的子集(即S_D中的每一个词都能在S_Q中找到),就将该条目加入回退结果集。
- 将回退结果集追加到常规检索结果集的末尾,保证常规匹配结果的排序优先级高于回退结果。
- 把用户输入的原始搜索串,用
匹配规则校验
- 搜索串为"Rock will make me survive":无停用词分词后S_Q={rock, will, make, me, survive}。全停用词条目"this will be"的S_D={this, will, be},其中this、be不在S_Q中,因此不命中,符合预期。
- 搜索串为"I will be a fireman":无停用词分词后S_Q={i, will, be, a, fireman}。全停用词条目S_D中的this不在S_Q中,因此不命中,满足需求中“非全停用词包含匹配时不触发回退”的边界。
- 搜索串为"I will be like this":无停用词分词后S_Q={i, will, be, like, this}。全停用词条目S_D的三个词全部在S_Q中,因此命中,符合需求。
- 直接搜索"this will be":S_Q和条目的S_D完全一致,直接命中,解决之前全停用词无法检索的问题。
内容的提问来源于stack exchange,提问作者Rokko_11
相关产品推荐
相关产品推荐

