Lucene搜索：Luke与Hibernate Search查询结果不一致问题

遇到这类问题，核心差异基本集中在分析器配置、查询解析逻辑、索引数据状态这几个方面，下面是具体的排查方向：

首先先明确你使用的Lucene查询语句，方便后续核对：

+(debtorNumber:10200000 originalDebtorNumber:10200000) +(serviceName:"skype for"^840.0 (serviceName:for* serviceId:for*) (serviceName:skype* serviceId:skype*))

1. 字段分析器是否匹配？ #

Luke里使用的分析器和Hibernate Search为serviceName、serviceId配置的分析器可能不一样，这是最常见的原因：

• 比如Hibernate Search可能把"for"这类词当成停用词过滤了，导致你写的"skype for"短语查询在Hibernate Search里根本匹配不到任何文档，而Luke里保留了这个停用词，所以能正常匹配。
• 或者两者的分词规则不同：Luke可能把"Skype for Business"拆成["skype", "for", "business"]，而Hibernate Search用了词干分析，把"business"变成"busines"，导致短语或通配符匹配失效。

排查方法：

• 在Hibernate Search里获取对应字段的分析器，测试分词结果：

  Analyzer analyzer = searchSession.indexManager().getAnalyzer("serviceName");
  TokenStream tokenStream = analyzer.tokenStream("serviceName", "Skype for Business");
  // 遍历tokenStream查看分词后的术语
  

• 把这个结果和Luke里的分析结果对比（Luke里可以直接查看字段的分词情况）。

2. Hibernate Search生成的实际查询是否和原始查询一致？ #

有时候Hibernate Search的查询解析器会对输入的Lucene查询做细微调整，比如处理boost值、通配符的方式和Luke不同：

• 比如你设置的^840.0 boost值，可能在Hibernate Search里没有被正确解析，导致带短语的文档得分不够高，排不到前面。
• 或者通配符查询for*、skype*被解析成了不同的查询逻辑。

排查方法：

• 打印Hibernate Search生成的底层Lucene Query：

  SearchQuery<?> query = searchSession.search(YourEntity.class)
      .where(f -> f.fromLuceneQuery("你的原始查询字符串"))
      .toQuery();
  System.out.println(query.toQuery().toString());
  

• 把这个打印出来的查询和你在Luke里执行的查询对比，看是否有差异。

3. 索引数据是否一致？ #

你可能在Luke里查询的是一个已经完全提交的索引，而Hibernate Search这边的索引还没更新或者没提交：

• 比如Hibernate Search的事务还没提交，导致新的数据没写入索引；或者索引更新后没执行刷新操作，查询还是读取的旧数据。
• 也有可能两者连接的根本不是同一个索引目录。

排查方法：

• 确认Hibernate Search配置的索引路径和Luke连接的路径完全一致；
• 执行查询前，先确保索引是最新的：

  searchSession.flushToIndexes(); // 刷新待提交的索引变更
  searchSession.massIndexer(YourEntity.class).startAndWait(); // 如果是批量索引，重新全量索引一次
  

4. 通配符查询是否被限制？ #

Hibernate Search默认可能对通配符查询有一些限制，比如禁止前缀通配符（虽然你的for*是后缀，但也要确认），或者开启了查询安全限制：

• 比如配置了hibernate.search.query.parser.wildcard_allow_leading=false（不过你的是后缀通配符，这个可能不影响，但可以检查）；
• 或者查询解析器的其他参数导致通配符查询没有生效。

排查方法：

• 查看Hibernate Search的配置文件，检查和查询解析相关的参数；
• 单独测试通配符查询，比如只执行serviceName:for*，看Hibernate Search是否能返回预期结果。

5. 得分计算逻辑是否有差异？ #

即使匹配到了相同的文档，Luke和Hibernate Search的得分计算可能因为配置不同（比如相似度算法、boost处理）导致排序结果不一致：

• 比如你设置的^840.0 boost值，在Hibernate Search里的权重计算和Luke不同，导致原本应该排在前面的Skype for Business for Managers这类文档没有出现在前列。

排查方法：

• 在Hibernate Search的查询结果中获取每个命中的得分：

  searchSession.search(YourEntity.class)
      .where(f -> f.fromLuceneQuery("你的原始查询字符串"))
      .fetch(20)
      .hits()
      .forEach(hit -> {
          float score = hit.score();
          System.out.println(hit.getServiceName() + " - 得分：" + score);
      });
  

• 和Luke里的文档得分对比，看是否存在明显差异。

内容的提问来源于stack exchange，提问作者adrian