Apache Lucene短语搜索得分异常：非短语文件得分高于短语文件

基于Apache Lucene开发文本搜索功能，单词搜索正常，但短语搜索「ABC DEF」时出现排序异常：不含该短语的File4得分（1.0447767）高于包含该短语的File2得分（1.0047288）。

相关文件内容：

• File1：包含短语「ABC DEF」
• File2：包含短语「ABC DEF」
• File3：包含独立的ABC和DEF（位置不相邻）
• File4：包含独立的ABC和DEF（位置不相邻）
• File5：仅包含ABC
• File6：仅包含DEF

当前搜索结果：

文件名 - 得分
- File1 1.3502092
- File4 1.0447767
- File2 1.0047288
- File3 0.97969353

使用的搜索代码：

public static void search(String keyword, String path) throws IOException, ParseException {
   IndexReader reader = DirectoryReader.open(FSDirectory.open(Paths.get(path)));
    IndexSearcher searcher = new IndexSearcher(reader);

    Analyzer analyzer = new StandardAnalyzer();

    QueryParser queryParser = new QueryParser("contents", analyzer);
    queryParser.setDefaultOperator(QueryParser.Operator.AND);
    Query query = queryParser.parse(keyword);

    TopDocs hits = searcher.search(query, 1000);
    ScoreDoc[] document = hits.scoreDocs;
    System.out.println("Total no of hits for content: " + hits.totalHits);

    for (int i = 0; i < document.length; i++) {
        Document doc = searcher.doc(document[i].doc);
        String filePath = doc.get("title");
        System.out.println(filePath + " " + document[i].score);
    }
}

问题根源 #

当前代码中，QueryParser因设置了默认AND操作符，会将「ABC DEF」解析为ABC AND DEF的布尔查询，而非短语查询。Lucene只会筛选同时包含ABC和DEF的文档，不区分二者是否相邻；得分计算基于词频、文档长度等因素，导致不含短语的文档可能因词频更高或文档更短，得分反超含短语的文档。

修复步骤 #

1. 强制构造短语查询 #

有两种可靠方式实现短语搜索：

• 方式一：通过QueryParser自动解析短语
  给搜索关键词加上双引号，QueryParser会自动将其解析为PhraseQuery。可在代码中对输入关键词做包装：

  // 给关键词添加双引号，强制解析为短语查询
  String phraseKeyword = "\"" + keyword + "\"";
  Query query = queryParser.parse(phraseKeyword);
  

• 方式二：手动构建PhraseQuery
  直接创建PhraseQuery实例，精确控制词项和位置要求：

  PhraseQuery.Builder builder = new PhraseQuery.Builder();
  // 添加短语词项，需与索引时分词结果一致（注意大小写，StandardAnalyzer会转小写）
  builder.add(new Term("contents", "abc"));
  builder.add(new Term("contents", "def"));
  // 设置允许的最大词距（0代表必须严格相邻）
  builder.setSlop(0);
  Query query = builder.build();
  

2. 确保索引与搜索的分词一致性 #

索引环节必须和搜索时使用相同的分词器（当前代码用StandardAnalyzer，索引时也要用它），否则会出现词项不匹配，导致短语查询失效。

3. 优化得分计算（可选） #

若需进一步优化排序逻辑，可替换默认的相似度算法。Lucene 8+默认使用BM25Similarity，相比传统TF-IDF，它对长文档的得分计算更合理，能降低文档长度对得分的干扰：

searcher.setSimilarity(new BM25Similarity());

效果验证 #

修改后，短语查询会优先返回包含「ABC DEF」相邻短语的File1、File2，且二者得分会显著高于仅含独立词项的File3、File4，排序恢复正常。

内容的提问来源于stack exchange，提问作者justadeveloper