Lucene 6.6.0含特殊字符搜索无结果问题求助

问题根源 #

1. 默认分词与停用词过滤：StandardAnalyzer默认使用的StandardTokenizer会将a&e拆分为a和e两个词，且a属于英文默认停用词，会被过滤掉。最终索引中仅保留e和networks，导致搜a或a&e都无结果。
2. 自定义停用词的局限性：仅将&加入停用词表，虽然替换了默认停用词（a不再被过滤），但StandardTokenizer仍会拆分a&e为a和e，且你使用的TermQuery是精确匹配词项，索引中不存在a&e这个完整词项，因此依旧无法命中。

解决方案：使用CustomAnalyzer实现完整词项索引与查询 #

要让a&e作为单个完整词被索引和搜索，需要同时调整分词逻辑（让&被视为词的一部分）和查询方式（用统一分词器处理查询字符串），具体实现如下：

1. 构建自定义分词器

// 复制Lucene默认停用词表，移除需要保留的"a"和"e"
CharArraySet stopWords = CharArraySet.copy(StandardAnalyzer.STOP_WORDS_SET);
stopWords.remove("a");
stopWords.remove("e");

// 构建CustomAnalyzer，确保&被纳入词的组成部分
Analyzer customAnalyzer = CustomAnalyzer.builder()
        // 使用PatternTokenizer，匹配字母、数字、&组成的连续序列作为单个词
        .withTokenizer(tokenizer -> tokenizer.setPattern("[\\p{L}\\p{N}&]+"))
        // 统一转为小写，保证索引与查询的一致性
        .addTokenFilter(TokenFilterFactory.forName("lowercase"))
        // 应用自定义停用词过滤
        .addTokenFilter(TokenFilterFactory.forName("stop",
                "words", stopWords.toString(),
                "ignoreCase", "true"))
        .build();

2. 索引与搜索时统一使用该分词器

• 索引阶段：将IndexWriterConfig中的分词器替换为上述自定义分词器。
• 查询阶段：不要直接使用TermQuery，改用QueryParser生成查询（QueryParser会用相同的分词器处理查询字符串，保证与索引逻辑一致）：

// 替换原TermQuery为QueryParser生成的查询
QueryParser parser = new QueryParser("text", customAnalyzer);
Query query = parser.parse("a&e");

TopDocs results = searcher.search(query, 5);
// 原有输出逻辑保持不变

效果说明 #

• 索引时，a&e会被作为单个词项存入索引，a&e networks会被拆分为a&e和networks两个词项。
• 查询时，a&e会被分词器处理为同一个词项，与索引中的内容匹配，从而返回对应的两个文档。

内容的提问来源于stack exchange，提问作者Mahesh