Lucene.Net精准匹配问题：如何实现字段内容完全匹配查询

问题场景 #

尝试用PhraseQuery和MultiPhraseQuery实现精准整行匹配，搜索“Organic Sauce”时，期望仅返回第一条记录，但实际两条记录都被返回。曾尝试设置Index.Not_Analysed，但未解决问题。

数据示例：

<Records>
<Record>
<Ingridents>Organic Sauce</Ingridents>
</Record>
<Record>
<Ingridents>Pure Organic Sauce</Ingridents>
</Record>
</Records>

自定义分析器代码：

public class HybridSearchAnalyzer : Analyzer
{
    protected override TokenStreamComponents CreateComponents(string fieldName, TextReader reader)
    {
        Tokenizer tokenizer = new StandardTokenizer(LuceneVersion.LUCENE_48, reader);
        TokenStream result = new StopFilter(LuceneVersion.LUCENE_48, tokenizer, StopAnalyzer.ENGLISH_STOP_WORDS_SET);
        result = new LowerCaseFilter(LuceneVersion.LUCENE_48, result);
        return new TokenStreamComponents(tokenizer, result);
    }
}

问题根源 #

当前分析器使用StandardTokenizer会将文本拆分为多个token：

• 第一条记录拆分为：organic、sauce
• 第二条记录拆分为：pure、organic、sauce

PhraseQuery默认匹配相邻的目标token，第二条记录中organic和sauce是相邻的，因此会被命中。即使设置Index.Not_Analysed，如果分析器仍对该字段做分词处理，字段实际还是会被拆分为多个token，导致精准匹配失效。

解决方案 #

要实现整句精准匹配，需确保目标字段以完整字符串作为单个token存储，同时查询时匹配该单个token：

1. 修改自定义分析器 #

针对Ingridents字段使用KeywordTokenizer，将整句作为单个token处理，其他字段保留原有分词逻辑：

public class HybridSearchAnalyzer : Analyzer
{
    protected override TokenStreamComponents CreateComponents(string fieldName, TextReader reader)
    {
        Tokenizer tokenizer;
        // 对Ingridents字段采用KeywordTokenizer，保持整句为单个token
        if (string.Equals(fieldName, "Ingridents", StringComparison.OrdinalIgnoreCase))
        {
            tokenizer = new KeywordTokenizer(reader);
            TokenStream result = new LowerCaseFilter(LuceneVersion.LUCENE_48, tokenizer);
            return new TokenStreamComponents(tokenizer, result);
        }
        // 其他字段沿用原分词逻辑
        else
        {
            tokenizer = new StandardTokenizer(LuceneVersion.LUCENE_48, reader);
            TokenStream result = new StopFilter(LuceneVersion.LUCENE_48, tokenizer, StopAnalyzer.ENGLISH_STOP_WORDS_SET);
            result = new LowerCaseFilter(LuceneVersion.LUCENE_48, result);
            return new TokenStreamComponents(tokenizer, result);
        }
    }
}

2. 使用TermQuery做精准匹配 #

查询时直接用TermQuery匹配完整字符串（注意要和索引时的小写转换一致）：

// 构造匹配整句的Term
Term term = new Term("Ingridents", "organic sauce");
// 创建精准查询
Query query = new TermQuery(term);

3. 验证索引字段设置 #

确保在创建Field时，Ingridents字段的Index属性设置为Index.ANALYZED（因为我们通过分析器控制了分词逻辑，不需要用NOT_ANALYZED，分析器会处理成单个token），或者如果使用旧版本Lucene，设置为Index.Not_Analysed时，必须确保分析器不对该字段做分词。

内容的提问来源于stack exchange，提问作者Suneel Kumar