Hibernate Lucene FullTextField分词器未返回预期搜索结果

当前使用的standard分词器不会拆分连续的字母数字组合（如cherry101）或纯字母构成的复合词（如cherryfruit）。索引阶段：

• cherry 1、cherry、cherry 5会被拆分为包含cherry的独立token
• cherry101会被处理为单个tokencherry101，cherryfruit会被处理为单个tokencherryfruit
  搜索时输入cherry仅会生成cherry这一个token，自然无法匹配cherry101和cherryfruit对应的token。

提供两种可行方案，按需选择：

方案一：修改分析器，支持前缀匹配（推荐） #

区分索引分析器和搜索分析器，让索引阶段生成可匹配的前缀token，同时拆分字母数字组合：

• 索引分析器：添加wordDelimiterGraph拆分字母与数字，添加edgeNGram生成前缀token
• 搜索分析器：仅做小写转换和ASCII折叠，避免多余处理

修改后的MyLuceneAnalysisConfigurer代码：

package org.hibernate.search.documentation.analysis;

import org.hibernate.search.backend.lucene.analysis.LuceneAnalysisConfigurationContext;
import org.hibernate.search.backend.lucene.analysis.LuceneAnalysisConfigurer;

public class MyLuceneAnalysisConfigurer implements LuceneAnalysisConfigurer {
    @Override
    public void configure(LuceneAnalysisConfigurationContext context) {
        context.analyzer( "english" ).custom() 
                .tokenizer( "standard" ) 
                .tokenFilter( "lowercase" ) 
                .tokenFilter( "snowballPorter" ) 
                        .param( "language", "English" ) 
                .tokenFilter( "asciiFolding" );

        // 索引用分析器：生成前缀token，拆分字母数字组合
        context.analyzer( "name_index" ).custom() 
                .tokenizer( "standard" )
                .tokenFilter( "lowercase" )
                .tokenFilter( "asciiFolding" )
                .tokenFilter( "wordDelimiterGraph" )
                        .param("splitOnNumerics", "true") // 拆分字母与数字的组合
                        .param("generateWordParts", "true") // 保留拆分出的独立词部分
                .tokenFilter( "edgeNGram" )
                        .param("minGramSize", "5") // 对应"cherry"的长度，设置最小前缀长度
                        .param("maxGramSize", "20"); // 字段允许的最大长度，按需调整

        // 搜索用分析器：仅做基础格式处理
        context.analyzer( "name_search" ).custom() 
                .tokenizer( "standard" )
                .tokenFilter( "lowercase" )
                .tokenFilter( "asciiFolding" );
    }
}

修改实体类字段注解，指定索引和搜索分析器：

@FullTextField(indexAnalyzer = "name_index", searchAnalyzer = "name_search") 
private String name;

方案二：使用前缀查询（无需修改分析器） #

如果不想调整分析器，可直接在构建搜索查询时使用前缀匹配逻辑，让Hibernate Search自动匹配所有以cherry开头的词：

import org.hibernate.search.mapper.orm.Search;
import org.hibernate.search.mapper.orm.session.SearchSession;

// 获取SearchSession实例
SearchSession searchSession = Search.session(entityManager);

// 构建前缀查询并获取结果
List<YourEntity> results = searchSession.search(YourEntity.class)
        .where(f -> f.prefix()
                .field("name")
                .matching("cherry"))
        .fetchHits(20); // 按需调整返回结果数量

• 方案一修改后需要重新索引所有数据，否则旧索引不会应用新的分析规则
• 方案二的前缀查询性能略低于分析器优化方案，但实现更简单，适合快速验证需求

内容的提问来源于stack exchange，提问作者chumki roy