Azure Search使用English.Lucene分析器时术语匹配问题如何调优索引

English.Lucene分析器默认搭载Porter词干提取算法，仅按通用英语屈折变化规则做词形归并：比如将复数chairs还原为chair、动名词rocking还原为rock，但它本身不做语义级的同义词关联，也不会把词形差异较大、语义指向相同的rocker（可直接指代摇椅）和rocking chair做匹配对齐，这是召回缺失的直接原因。

方案1：配置自定义同义词映射（改动最小、见效最快） #

该方案不需要修改现有字段的分析器配置，仅需给对应可搜索字段绑定同义词映射即可：

• 先在Azure Search服务中创建同义词映射资源，按对等规则配置关联词汇，双向关联的规则示例如下：

rocking chair,rocking chairs,rocker,rockers

• 给标题、描述等存储摇椅相关内容的可搜索字段绑定该同义词映射，生效模式二选一即可：
  • 索引时生效：文档写入阶段就将同义词写入倒排索引，搜索性能更高，但新增/修改同义词规则后需要重建索引才能覆盖存量文档
  • 查询时生效：搜索请求发起时才做同义词展开，调整规则后实时生效，不需要重建存量索引，仅会略微增加查询耗时
• 配置时注意覆盖目标词汇的单复数、常见拼写变体，避免漏配。

方案2：自定义分析器替换词干提取组件 #

如果需要覆盖更多同根语义词汇、减少人工维护同义词表的成本，可以改造现有分析器：

• 基于English.Lucene的基础逻辑构建自定义分析器，将内置的Porter词干过滤器替换为微软官方提供的MicrosoftEnglishLemmatizer词形还原组件，该组件基于英语词典做语义级词形归并，识别准确率远高于通用规则式的Porter词干，可自动识别部分同根语义词汇的关联关系。
• 自定义分析器配置完成后，需要重建全量索引，让存量文档全部通过新分析器重新分词生成倒排索引后才能生效。

方案3：开启语义搜索能力 #

如果你的Azure Search实例为S2及以上定价层，可以直接开启语义排名功能：

• 不需要手动维护同义词表、也不需要修改现有分析器配置，开启后搜索引擎会基于预训练的深度语言模型理解查询词和文档内容的语义关联，可自动识别rocking chairs和rocker在“摇椅”语义下的相关性，自动召回包含rocker的结果并做合理排序。
• 该方案对长尾语义关联的适配性最好，但受定价层限制，且语义查询会消耗单独的语义搜索配额。

• 所有涉及分析器修改的调整，都需要重建索引才能对存量文档生效，建议在业务低峰期操作
• 同义词规则不要配置过于宽泛的泛化匹配，避免召回大量无关结果拉低搜索准确率
• 配置调整完成后，建议先在搜索资源管理器中做抽样验证，确认召回结果符合预期后再全量切流上线

内容的提问来源于stack exchange，提问作者Patrick Goode