Lucene多词同义词匹配异常问题求助

问题根源分析 #

当前代码的核心缺陷在于同义词映射的构建逻辑：

• 单向映射导致匹配不全：仅将同义词组的第一个词（如subtree）映射到其他同义词（如sub tree、sub-tree），未做反向映射（如sub tree→subtree）及组内全量互映射，导致非首词形式的查询只能匹配原始包含该形式的文档。
• 多词同义词合并错误：addSyns方法将多个同义词合并为单一synset，Lucene会将其视为一个短语而非独立等价项，无法正确处理多词同义词的匹配逻辑。
• 索引阶段未生成全量同义词token：由于仅在索引时应用同义词分析器，必须确保索引中包含所有同义词形式，才能让无分析器的查询覆盖所有相关文档。

解决方案 #

1. 构建全双向同义词映射 #

对同义词组内的每个词，都添加到组内其他所有词的同义词映射，确保任意形式的同义词都能互相匹配。

2. 逐个处理多词同义词 #

不再将多个同义词合并为一个synset，而是为每个同义词单独创建映射关系，保证多词短语被识别为独立等价项。

3. 保留索引阶段的FlattenGraphFilter #

该过滤器将同义词图转换为扁平token流，是索引阶段的必要操作，确保所有同义词token被正确写入索引。

修改后的代码 #

public class MyAnalyzer extends Analyzer {
   public MyAnalyzer(String synlist) {
      this.synlist = synlist;
   }

   @Override
   protected TokenStreamComponents createComponents(String fieldName) {
      WhitespaceTokenizer src = new WhitespaceTokenizer();
      TokenStream result = new LowerCaseFilter(src);
      if (synlist != null) {
         result = new SynonymGraphFilter(result, getSynonyms(synlist), Boolean.TRUE);
         result = new FlattenGraphFilter(result);
      }
      return new TokenStreamComponents(src, result);
   }

   private static SynonymMap getSynonyms(String synlist) {
      boolean dedup = Boolean.TRUE;
      SynonymMap synMap = null;
      SynonymMap.Builder builder = new SynonymMap.Builder(dedup);
      int cnt = 0;

      try {
         BufferedReader br = new BufferedReader(new FileReader(synlist));
         String line;
         try {
            while ((line = br.readLine()) != null) {
               processLine(builder,line);
               cnt++;
            }
         } catch (IOException e) {
            System.err.println(" caught " + e.getClass() + " while reading synonym list,\n with message " + e.getMessage());
         }
         System.out.println("Synonym load processed " + cnt + " lines");
         br.close();
      } catch (Exception e) {
         System.err.println(" caught " + e.getClass() + " while loading synonym map,\n with message " + e.getMessage());
      }
      if (cnt > 0) {
         try {
            synMap = builder.build();
         } catch (IOException e) {
            System.err.println(e);
         }
      }
      return synMap;
   }

   private static void processLine(SynonymMap.Builder builder, String line) {
      boolean keepOrig = Boolean.TRUE;
      String[] terms = line.split(",");
      if (terms.length < 2) {
         System.err.println("Synonym input must have at least two terms on a line: " + line);
         return;
      }
      // 为组内每个词添加到其他所有词的同义词映射
      for (int i = 0; i < terms.length; i++) {
         String currentTerm = terms[i].trim();
         String[] otherTerms = new String[terms.length - 1];
         int idx = 0;
         for (int j = 0; j < terms.length; j++) {
            if (i != j) {
               otherTerms[idx++] = terms[j].trim();
            }
         }
         addSyns(builder, currentTerm, otherTerms, keepOrig);
      }
   }

   private static void addSyns(SynonymMap.Builder builder, String word, String[] syns, boolean keepOrig) {
      CharsRef wordRef = SynonymMap.Builder.join(word.split("\\s+"), new CharsRefBuilder());
      // 逐个添加每个同义词，而非合并为单个synset
      for (String syn : syns) {
         CharsRef synRef = SynonymMap.Builder.join(syn.split("\\s+"), new CharsRefBuilder());
         builder.add(wordRef, synRef, keepOrig);
      }
   }

   private String synlist;
}

效果验证 #

修改后，索引阶段每个文档的同义词形式都会被扩展为组内所有形式：

• 包含subtree的文档会同时索引subtree、sub tree、sub-tree
• 包含sub tree的文档也会索引上述三个形式

此时无论查询使用subtree、sub tree还是sub-tree，或是对应的短语组合，都能匹配到全部三个测试文档。

内容的提问来源于stack exchange，提问作者TrevorN