Solr自动补全去重与关联文档展示方案咨询

需求目标 #

• 自动补全需按优先级匹配：精确匹配 > KeywordTokenizerFactory边缘NGram匹配 > UAX29URLEmailTokenizerFactory边缘NGram匹配
• 补全建议需返回关联文档
• 补全建议需唯一，无重复

现有实现配置 #

字段与字段类型配置 #

<field name="category" type="string" indexed="true" stored="true" docValues="true"/>
<field name="categoryAutocompleteExactEdge" type="autocomplete_exact_edge" indexed="true" stored="false"/>
<field name="categoryAutocompleteTermsEdge" type="autocomplete_terms_edge" indexed="true" stored="false"/>
<copyField source="category" dest="categoryAutocompleteExactMatch"/>
<copyField source="category" dest="categoryAutocompleteTermsEdge"/>

<fieldType name="autocomplete_exact_edge" class="solr.TextField">
  <analyzer type="index">
      <tokenizer class="solr.KeywordTokenizerFactory"/>
      <filter class="solr.LowerCaseFilterFactory"/>
      <filter class="solr.ASCIIFoldingFilterFactory"/>
      <filter class="solr.EnglishPossessiveFilterFactory"/>
      <filter class="solr.EdgeNGramFilterFactory" maxGramSize="30" minGramSize="1"/>
  </analyzer>
  <analyzer type="query">
      <tokenizer class="solr.KeywordTokenizerFactory"/>
      <filter class="solr.LowerCaseFilterFactory"/>
      <filter class="solr.ASCIIFoldingFilterFactory"/>
      <filter class="solr.EnglishPossessiveFilterFactory"/>
  </analyzer>
</fieldType>

<fieldType name="autocomplete_terms_edge" class="solr.TextField" positionIncrementGap="100">
  <analyzer type="index">
    <tokenizer class="solr.UAX29URLEmailTokenizerFactory"/>
    <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.ASCIIFoldingFilterFactory"/>
    <filter class="solr.EnglishPossessiveFilterFactory"/>
    <filter class="solr.EdgeNGramFilterFactory" maxGramSize="30" minGramSize="1"/>
  </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.UAX29URLEmailTokenizerFactory"/>
    <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.ASCIIFoldingFilterFactory"/>
    <filter class="solr.EnglishPossessiveFilterFactory"/>
  </analyzer>
</fieldType>

请求处理器配置 #

<requestHandler name="/suggest_category" class="org.apache.solr.handler.component.SearchHandler">
  <lst name="defaults">
    <str name="wt">json</str>
    <str name="defType">edismax</str>
    <str name="rows">5</str>
    <str name="fl">category</str>
    <str name="qf">category^30 categoryAutocompleteExactEdge^10 categoryAutocompleteTermsEdge</str>
  </lst>
</requestHandler>

当前问题 #

1. 重复建议问题：若大量文档的category字段值为同一内容（如"GASTROENTEROLOGIST"），会占据所有返回位置，导致其他匹配的建议（如"GASTRO APPOINTMENT"）无法展示。
2. 分面与排序冲突：若启用分面并设置rows=0，原qf定义的优先级排序规则会失效，无法按预期返回补全建议。
3. 唯一建议与关联文档的矛盾：尝试将类别移至独立Core解决去重，但无法同时获取关联文档信息，找不到一站式解决方案。

核心疑问 #

作为首次开发Solr自动补全功能的开发者，想了解最优实现策略：是否需要为每个自动补全字段创建独立Core？

方案1：使用Collapse组件实现去重+保留排序优先级 #

无需拆分Core，通过Collapse组件对category字段去重，同时保留原有的排序逻辑：

1. 修改请求处理器配置，添加Collapse参数：

<requestHandler name="/suggest_category" class="org.apache.solr.handler.component.SearchHandler">
  <lst name="defaults">
    <str name="wt">json</str>
    <str name="defType">edismax</str>
    <str name="rows">5</str>
    <str name="fl">category,id,[其他需要返回的文档字段]</str>
    <str name="qf">category^30 categoryAutocompleteExactEdge^10 categoryAutocompleteTermsEdge</str>
    <!-- 按category字段折叠去重，保留每个category的最高得分文档 -->
    <str name="collapse.field">category</str>
    <str name="collapse.min">false</str> <!-- 默认取最高得分的文档，符合优先级排序 -->
    <!-- 可选：返回每个折叠组的文档数量 -->
    <str name="collapse.count">true</str>
  </lst>
  <!-- 必须添加Collapse组件 -->
  <arr name="components">
    <str>query</str>
    <str>collapse</str>
  </arr>
</requestHandler>

2. 确保category字段开启docValues="true"（现有配置已满足），Collapse组件依赖docValues提升性能。

方案2：TermVectorComponent结合索引去重（高并发场景） #

如果Collapse性能无法满足需求，可以提前构建唯一的category列表，同时关联文档ID：

1. 索引阶段，通过自定义UpdateProcessor或外部逻辑维护category_unique字段，确保每个category只出现一次。
2. 为category_unique配置相同的自动补全分析器，使用TermVectorComponent获取匹配的唯一terms，再通过terms查询关联文档。
3. 该方式需额外索引处理，但查询性能更高，适合大规模数据场景。

方案3：Suggester组件+二次查询（极速补全场景） #

若不需要实时返回关联文档，可先通过Suggester获取唯一补全建议，再单独查询文档：

1. 配置Suggester组件，基于category的docValues生成唯一建议：

<searchComponent name="suggest" class="solr.SuggestComponent">
  <lst name="suggester">
    <str name="name">categorySuggester</str>
    <str name="lookupImpl">FuzzyLookupFactory</str>
    <str name="dictionaryImpl">DocumentDictionaryFactory</str>
    <str name="field">category</str>
    <str name="suggestAnalyzerFieldType">autocomplete_exact_edge</str>
    <str name="buildOnCommit">true</str>
  </lst>
</searchComponent>

<requestHandler name="/suggest" class="solr.SearchHandler">
  <lst name="defaults">
    <str name="suggest">true</str>
    <str name="suggest.count">5</str>
    <str name="suggest.dictionary">categorySuggester</str>
  </lst>
  <arr name="components">
    <str>suggest</str>
  </arr>
</requestHandler>

2. 获取补全建议后，用建议值发起二次查询获取关联文档，适合对补全响应速度要求极高的场景。

结论 #

不需要为每个自动补全字段创建独立Core，优先选择方案1（Collapse组件），它能在同一个Core内同时满足：

• 按定义的优先级排序补全建议
• 返回唯一的category建议
• 同时返回关联文档信息
• 实现简单，无需额外索引逻辑

内容的提问来源于stack exchange，提问作者sanjihan