如何配置Solr使其返回带变音符号的拼写检查建议

问题根源 #

你修改text_pl字段类型的索引侧配置后，没有全量重建索引，旧索引中仍存储着之前经ASCIIFolding处理后的无变音版本rekawiczki，拼写检查组件检测到输入的rekawiczki已存在于索引term字典中，就会判定该词拼写正确，不会返回任何纠正建议。

解决方案 #

1. 优先执行全量索引重建 #

删除所有旧索引数据，重新导入全部业务数据，确保当前索引中text_pl类型字段存储的term都是保留波兰语变音符号的原始形态（如rękawiczki）。

2. 调整拼写检查组件参数 #

修改你的拼写检查搜索组件配置，降低验证阈值避免正确建议被过滤：

<lst name="spellchecker">
  <str name="name">default</str>
  <str name="field">_text_</str>
  <str name="classname">solr.DirectSolrSpellChecker</str>
  <str name="distanceMeasure">internal</str>
  <!-- 临时调低精度阈值，测试正常后再按需调整 -->
  <float name="accuracy">0.3</float>
  <int name="maxEdits">2</int>
  <int name="minPrefix">1</int>
  <int name="maxInspections">5</int>
  <int name="minQueryLength">2</int>
  <!-- 调大查询词频率阈值，或直接注释该参数避免小数据集下触发限制 -->
  <float name="maxQueryFrequency">0.1</float>
</lst>

修改配置后重启Solr，重新测试即可。

3. （可选）配置拼写检查专用字段 #

如果需要彻底隔离通用查询和拼写检查的分析逻辑，可以单独新增拼写检查专用字段：

1. 在schema中新增专用字段类型和字段：

<!-- 拼写检查专用波兰语字段类型，全程不做ASCII折叠 -->
<fieldType name="text_pl_spell" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="solr.StopFilterFactory" ignoreCase="true" words="lang/stopwords_pl.txt" />
    <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
</fieldType>
<field name="spell_check_content" type="text_pl_spell" indexed="true" stored="false" multiValued="true"/>
<!-- 把所有需要纳入拼写检查的波兰语字段内容复制到专用字段 -->
<copyField source="*_pl" dest="spell_check_content"/>

2. 修改拼写检查组件配置，指定专用字段：

<str name="field">spell_check_content</str>
<str name="spellcheckAnalyzer">text_pl_spell</str>

配置完成后重建索引即可。

验证方法 #

可以通过Solr后台的Analysis工具验证分析逻辑是否符合预期：

• 索引侧输入rękawiczki，确认输出仍为rękawiczki
• 查询侧输入rekawiczki，确认输出为rekawiczki
• 到Term Vector页面查询索引中是否存在rękawiczki的term，确认没有rekawiczki的term

内容的提问来源于stack exchange，提问作者IrcDirk