Lucene查询获取文档命中字段值及高亮性能优化咨询

你的「对命中文档对应字段做一次匹配查询获取命中值」的思路完全可行，以下是3种落地的优化方案，性能提升从高到低排列： #

方案1：启用TermVectors直接获取命中term（性能提升最高，无需二次查询/遍历） #

这是最适配你场景的方案，步骤如下：

• 建索引时为10个查询字段开启TermVectors.WITH_POSITIONS_OFFSETS配置，存储字段的分词结果、位置和偏移量
• 第一步查询拿到命中文档ID后，直接读取该文档对应字段的TermVector，和你的查询关键词做匹配，直接筛选出命中的字段取值，完全不需要调用高亮API，也不用遍历所有1000个取值。
  示例代码：

// 读取命中文档docId对应字段的TermVector
Terms terms = indexReader.getTermVector(docId, fieldName);
if (terms == null) return;
// 提取当前查询的所有term集合
Set<Term> queryTerms = new HashSet<>();
query.extractTerms(queryTerms);
// 遍历匹配直接拿到命中的term
TermsEnum termsEnum = terms.iterator();
for (Term term : queryTerms) {
    if (termsEnum.seekExact(term.bytes())) {
        // 直接获取命中的term值，对应到字段原始取值即可
        String hitValue = term.text();
    }
}

该方案比原有遍历高亮的性能提升10倍以上，完全省掉了重复构建TokenStream、调用高亮接口的开销。 #

方案2：字段多值拆分为嵌套子文档，单次过滤拿到命中值 #

如果你不想调整TermVector配置，可以把每个字段的1000个取值拆成嵌套子文档，第一步拿到父文档ID后，直接构造带父文档ID过滤、字段匹配的子查询，一次查询就能直接返回所有命中的子文档（也就是你要的命中取值），确实只需要一次查询，无需遍历1000个值。 #

方案3：优化现有高亮逻辑，减少重复开销 #

如果你暂时不想调整索引结构，仅优化现有代码也能获得3-5倍的性能提升：

• 不要对每个字段取值单独构建TokenStream，把同一个字段的1000个取值拼成一个大字符串，统一构建一次TokenStream，调用一次高亮接口，根据返回的高亮片段定位对应取值即可
• 复用Highlighter、Analyzer实例，不要每次遍历都新建对象
  如果你的字段取值是固定的枚举值，可以提前构建好取值到分词结果的映射表，直接拿查询term匹配映射表，连索引读取步骤都可以省略，性能最优。

内容的提问来源于stack exchange，提问作者G L