Solr中SynonymGraphFilter需前置WordDelimiterGraphFilter的原因及替代方案

为什么SynonymGraphFilter放在WordDelimiterGraphFilter之后会抛出异常？ #

你遇到的ArrayIndexOutOfBoundsException本质上是因为词元位置信息的冲突破坏了SynonymGraphFilter生成的词图结构。当你先运行WordDelimiterGraphFilter时，它会把2-canal拆分为三个词元：

• 原始词2-canal（位置0）
• 拆分出的2（位置0）
• 拆分出的canal（位置1）

随后SynonymGraphFilter为2添加同义词two，此时two的位置也被设为0。这就导致同一位置存在多个词元（2-canal、2、two），后续Lucene的QueryBuilder在处理这个词图时，无法正确解析位置关系，最终触发数组越界异常。

为什么官方推荐把SynonymGraphFilter放在WordDelimiterGraphFilter之前？ #

官方预构建分析器的顺序设计是有明确原因的：

• 词图结构的连续性：SynonymGraphFilter依赖连续、无冲突的位置信息来生成正确的词图。如果先拆分词元，拆分后的词元位置会打乱原始词的位置序列，导致SynonymGraphFilter生成的词图出现逻辑冲突，进而引发查询解析错误。
• 语义扩展的合理性：先做同义词扩展，再拆分词元，能让同义词和原始词都经历拆分处理。比如如果2-canal有同义词two-channel，先扩展再拆分的话，two-channel也会被拆分为two和channel，这样查询时能覆盖更多语义场景；反之，先拆分再扩展会丢失对原始词同义词的拆分处理。
• 避免位置冲突：先扩展同义词，所有同义词的位置都和原始词一致，再拆分时，拆分后的词元位置会基于同义词的位置继续生成，不会出现同一位置堆积多个词元的情况，保证词图结构的有效性。

如何实现对拆分后词元的同义词扩展？ #

如果你必须要对WordDelimiter拆分出的词元做同义词扩展，可以采用两次SynonymGraphFilter的方案，既遵守官方推荐的基础顺序，又能覆盖拆分后词元的扩展需求：

<analyzer type="query">
  <tokenizer class="solr.SimplePatternSplitTokenizerFactory" pattern="[ &#x9;&#xA;&#xD;/.,)(]+"/>
  <filter class="solr.StopFilterFactory" words="stopwords.txt" ignoreCase="true"/>
  <!-- 第一步：对原始词做同义词扩展 -->
  <filter class="solr.SynonymGraphFilterFactory" expand="true" ignoreCase="true" synonyms="synonyms.txt"/>
  <!-- 第二步：拆分所有词元（包括原始词和同义词） -->
  <filter class="solr.WordDelimiterGraphFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="1" splitOnCaseChange="1" preserveOriginal="1"/>
  <!-- 第三步：对拆分后的词元再次做同义词扩展 -->
  <filter class="solr.SynonymGraphFilterFactory" expand="true" ignoreCase="true" synonyms="synonyms.txt"/>
  <filter class="solr.LowerCaseFilterFactory"/>
  <filter class="solr.PorterStemFilterFactory"/>
</analyzer>

这个方案的核心逻辑是：

• 第一次SynonymGraphFilter处理原始词的同义词扩展，保证原始语义的覆盖；
• WordDelimiterGraphFilter拆分所有词元（原始词+同义词）；
• 第二次SynonymGraphFilter针对拆分出的词元（比如2、canal）再次做同义词扩展，满足你需要的场景。

另外，如果你只需要对特定类型的拆分词元（比如数字）做扩展，可以针对性地调整同义词文件，或者结合solr.TypeTokenFilter先过滤出目标词元再做扩展，但两次SynonymGraphFilter的方案是最通用的解决方式。

内容的提问来源于stack exchange，提问作者Ryan Eom