Solr 8如何实现逗号分隔值字段的索引与查询

Solr 8.x 对DIH（数据导入处理器）逻辑、字段类型默认配置做了调整，旧版本（3.5）的配置缺少必要参数，会导致分词/拆分不生效，以下是两种经过验证的可用方案，二选一即可。

原有配置失效原因 #

• 方案1的PatternTokenizer规则本身没有问题，但缺少空白字符过滤配置，一旦原字段逗号前后存在空格，就会生成带空格的token，精确匹配时无法命中；且配置修改后如果没有重载核心、全量重导数据，新分词规则不会生效。
• 方案2的splitBy参数在Solr 8中默认不会自动去除拆分后每个值的前后空格，必须显式配置trim属性，否则类似test, hello的值会被拆成test和 hello（带前导空格），查询test以外的值就会匹配失败。

方案1：DIH导入阶段拆分（推荐，精确匹配性能更高） #

该方案在数据导入环节直接把逗号分隔字符串拆成多值字段，不需要自定义分词类型，适合需要精确等值匹配的场景。

1. schema配置（schema.xml或managed-schema） #

直接使用Solr自带的strings类型即可，不需要自定义字段类型：

<field name="alternate_names_manual" type="strings" indexed="true" stored="true" multiValued="true"/>

2. data-config.xml配置 #

必须同时配置splitBy和trim属性：

<field 
  column="alternate_names_manual" 
  name="alternate_names_manual"
  splitBy=","
  trim="true"
/>

3. 生效操作 #

• 保存配置后在Solr管理后台重载对应核心
• 执行全量数据导入（增量导入不会重构历史数据的索引）
• 验证：打开后台Analysis页面，选择alternate_names_manual字段，输入测试值test,hello,stack执行分析，确认生成test、hello、stack三个无多余空格的独立token后，即可正常执行查询：

http://localhost:8983/solr/mycore/select/?fl=id&q=*:*&wt=xml&fq=alternate_names_manual:"test"&start=0&rows=1

方案2：索引阶段分词拆分 #

如果不想在DIH层做拆分逻辑，希望Solr在写入索引时自动拆分逗号分隔值，可以使用自定义分词类型的方案。

1. schema配置 #

<fieldType name="commaDelimited" class="solr.TextField">
  <analyzer>
    <!-- 按逗号拆分，兼容逗号后带任意空白的格式 -->
    <tokenizer class="solr.PatternTokenizerFactory" pattern=",\s*" />
    <!-- 去除每个分词前后的空白字符 -->
    <filter class="solr.TrimFilterFactory"/>
    <!-- 不需要区分大小写匹配时保留该配置，需要大小写精确匹配可删除 -->
    <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
</fieldType>

注意：该方案下字段不需要设为多值，分词器会自动拆分单个字符串为多个token

<field name="alternate_names_manual" type="commaDelimited" indexed="true" stored="true" multiValued="false"/>

2. data-config.xml配置 #

直接映射字段即可，不需要加splitBy相关配置：

<field column="alternate_names_manual" name="alternate_names_manual"/>

3. 生效操作 #

和方案1一致，重载核心、执行全量导入后即可正常查询。

避坑提示 #

• 两种方案不要混用：不要同时配置DIH的splitBy拆分和分词类型拆分，否则会出现值被重复拆分的问题。
• 所有schema、DIH配置修改后必须重载核心+全量导入，存量数据不会自动应用新的索引规则。
• 如果需要支持模糊匹配，可以在方案2的分词器链中追加NGramFilterFactory配置即可。

内容的提问来源于stack exchange，提问作者Adam