如何在Solr中约束多字段组合的唯一性？

针对你的场景（三个string类型字段需组合去重），可以通过以下几种方案实现：

方案1：使用组合字段作为唯一键（uniqueKey） #

这是Solr原生支持的最直接方案，通过将三个字段拼接成一个唯一键字段，让Solr自动处理重复覆盖。

操作步骤： #

1. 在你的Schema配置文件（managed-schema或schema.xml）中添加一个用于存储组合值的字段，并设置为uniqueKey：

<!-- 新增组合字段，stored设为false可节省存储空间 -->
<field name="unique_combined" type="string" indexed="true" stored="false" />
<!-- 指定该字段为唯一键 -->
<uniqueKey>unique_combined</uniqueKey>

2. 在导入或更新文档时，将title、source、location用一个不会出现在字段内容中的分隔符拼接，赋值给unique_combined。例如：

unique_combined = title + "###" + source + "###" + location

选择特殊分隔符是为了避免不同字段内容拼接后产生冲突（比如title包含source的内容时，分隔符能明确区分字段边界）。

当三个字段完全相同时，unique_combined的值也会完全一致，Solr会自动覆盖已存在的文档，不会产生重复。

方案2：使用去重更新处理器链（UpdateRequestProcessorChain） #

如果不想修改默认的uniqueKey，可以通过Solr的更新处理器链实现多字段组合去重。

操作步骤： #

1. 在solrconfig.xml中配置去重处理器链：

<updateRequestProcessorChain name="deduplicate">
  <!-- 生成基于指定字段的签名 -->
  <processor class="org.apache.solr.update.processor.SignatureUpdateProcessorFactory">
    <bool name="enabled">true</bool>
    <str name="signatureField">dedupe_signature</str>
    <!-- 指定用于生成签名的三个字段 -->
    <str name="fields">title,source,location</str>
    <!-- 使用Lookup3哈希算法生成签名 -->
    <str name="signatureClass">org.apache.solr.update.processor.Lookup3Signature</str>
  </processor>
  <!-- 基于签名去重，重复时覆盖旧文档 -->
  <processor class="org.apache.solr.update.processor.DeduplicationUpdateProcessorFactory">
    <bool name="enabled">true</bool>
    <str name="signatureField">dedupe_signature</str>
    <bool name="overwriteDupes">true</bool>
    <!-- 可选：指定覆盖时需要同步更新的字段，*表示所有字段 -->
    <str name="fieldsToCopy">*</str>
  </processor>
  <!-- 保留默认的日志和更新处理器 -->
  <processor class="solr.LogUpdateProcessorFactory" />
  <processor class="solr.RunUpdateProcessorFactory" />
</updateRequestProcessorChain>

2. 在Schema中添加存储签名的字段：

<field name="dedupe_signature" type="string" indexed="true" stored="false" />

3. 使用该处理器链：
   • 在更新请求中添加参数update.chain=deduplicate；
   • 或者在core的配置中设置默认使用该链，避免每次请求都传参数。

方案3：导入前预处理（适合小数据量场景） #

如果数据量不大，可以在导入文档前，先通过Solr查询判断当前title、source、location组合是否已存在：

q=title:"${title_value}" AND source:"${source_value}" AND location:"${location_value}"

如果查询返回结果，则跳过该文档或执行更新操作；如果无结果，则添加新文档。

这种方案的缺点是会增加额外的查询开销，数据量大时性能不佳，仅适合小规模数据场景。

注意事项： #

• 大小写敏感：由于你的字段是string类型，Solr会做精确匹配，大小写不同会被视为不同文档。如果需要忽略大小写，需先将字段内容统一转成小写（或大写）后再生成唯一键/签名。
• 分隔符选择：方案1中使用的分隔符要确保不会出现在三个字段的内容中，避免生成错误的唯一键。

内容的提问来源于stack exchange，提问作者Asher Ross