如何通过无空格查询实现Lucene搜索？匹配失败求助

你当前无法匹配的核心问题是索引与查询的分词逻辑不匹配：

• 索引时使用StandardAnalyzer，会把原文本dummy Just {#var#} testing a spaceless {#var#} setup dummy按空格、特殊符号拆分，最终生成的索引词为：dummy、just、testing、a、spaceless、setup（{#var#}这类特殊符号会被当成分隔符过滤）。
• 而你查询的无空格长串（如dummyJustatestingaspacelessfreakingsetupdummy），会被StandardAnalyzer识别为一个完整的词，自然和索引里的单个独立词无法匹配。

方案1：通配符查询（快速见效） #

将查询串拆分为带通配符的原词片段（注意转小写，因为StandardAnalyzer会自动转小写），让Lucene可以匹配中间插入任意内容的场景。

修改查询代码示例：

// 处理查询串：转小写并插入通配符适配变量位置
String processedQuery = "dummy*just*a*testing*spaceless*setup*dummy";
// 直接构造通配符查询
query = new WildcardQuery(new Term("TEMPLATE_CONTENT", processedQuery));

// 也可以用QueryParser解析（无需转义*）
// query = new QueryParser(Version.LUCENE_36, "TEMPLATE_CONTENT", new StandardAnalyzer(Version.LUCENE_36))
//         .parse(processedQuery);

注意：通配符查询如果前缀过短会影响性能，尽量保证每个片段有足够长度的固定前缀。

方案2：自定义分析器（适配长期需求） #

如果需要频繁处理这类无空格查询，建议自定义分析器，让索引时直接生成无空格的完整词，同时保持原有分词逻辑（或仅存储无空格版本）。

自定义分析器代码示例：

public class NoSpaceAnalyzer extends Analyzer {
    @Override
    protected TokenStreamComponents createComponents(String fieldName, Reader reader) {
        // 基础分词器
        Tokenizer tokenizer = new StandardTokenizer(Version.LUCENE_36, reader);
        TokenStream stream = new StandardFilter(Version.LUCENE_36, tokenizer);
        // 转小写
        stream = new LowerCaseFilter(Version.LUCENE_36, stream);
        // 去掉英文停用词（可选）
        stream = new StopFilter(Version.LUCENE_36, stream, StopAnalyzer.ENGLISH_STOP_WORDS_SET);
        // 自定义过滤器：拼接所有token为无空格字符串
        stream = new TokenFilter(stream) {
            private final StringBuilder sb = new StringBuilder();
            private final CharTermAttribute termAtt = addAttribute(CharTermAttribute.class);
            private boolean hasMoreTokens = true;

            @Override
            public boolean incrementToken() throws IOException {
                if (!hasMoreTokens) return false;
                sb.setLength(0);
                // 读取所有token并拼接
                while (input.incrementToken()) {
                    sb.append(termAtt.toString());
                }
                hasMoreTokens = false;
                termAtt.setEmpty().append(sb);
                return true;
            }
        };
        return new TokenStreamComponents(tokenizer, stream);
    }
}

索引和查询时统一使用该分析器：

// 索引阶段
document.add(new Field("TEMPLATE_CONTENT", "dummy Just {#var#} testing a spaceless {#var#} setup dummy",
        Field.Store.YES, Field.Index.ANALYZED));
IndexWriter writer = new IndexWriter(FSDirectory.open(new File("index")), 
        new NoSpaceAnalyzer(), IndexWriter.MaxFieldLength.UNLIMITED);

// 查询阶段
query = new QueryParser(Version.LUCENE_36, "TEMPLATE_CONTENT", new NoSpaceAnalyzer())
        .parse("dummyjustatestingaspacelessfreakingsetupdummy");

方案3：新增无空格索引字段（更高效） #

如果{#var#}是固定要替换为空的变量，可以在索引时额外生成一个无空格的字段，直接存储处理后的文本：

String originalContent = "dummy Just {#var#} testing a spaceless {#var#} setup dummy";
// 替换变量、去掉所有空格并转小写
String noSpaceContent = originalContent.replaceAll("\\{#var#\\}", "")
                                       .replaceAll("\\s+", "")
                                       .toLowerCase();
// 添加无空格字段
document.add(new Field("TEMPLATE_CONTENT_NO_SPACE", noSpaceContent,
        Field.Store.YES, Field.Index.ANALYZED));

查询时针对该字段用通配符匹配：

query = new WildcardQuery(new Term("TEMPLATE_CONTENT_NO_SPACE", "dummyjust*testingaspaceless*setupdummy"));

内容的提问来源于stack exchange，提问作者SUBIN K SOMAN