Solr插入操作中丢弃不合规字段而非终止整个事务

要实现批量插入时跳过类型不匹配的字段、保留有效字段且不终止整个更新流程，同时记录错误日志，你可以通过配置Solr的**更新请求处理器链（Update Request Processor Chain）**来实现，具体步骤如下：

1. 修改solrconfig.xml配置 #

在你的Solr核心的solrconfig.xml文件中，添加自定义的更新处理器链：

<updateRequestProcessorChain name="skip-bad-fields" default="true">
  <!-- 记录字段转换错误到日志 -->
  <processor class="solr.LogUpdateProcessorFactory">
    <bool name="logErrors">true</bool>
  </processor>
  <!-- 字段解析失败时跳过该字段，不终止文档处理 -->
  <processor class="solr.ParseFieldUpdateProcessorFactory">
    <bool name="skipOnError">true</bool>
  </processor>
  <!-- 执行最终的更新操作 -->
  <processor class="solr.RunUpdateProcessorFactory"/>
</updateRequestProcessorChain>

• default="true"：将这个处理器链设为默认，所有更新请求自动使用
• LogUpdateProcessorFactory：负责把字段类型转换失败的错误信息写入Solr日志，方便后续排查问题
• ParseFieldUpdateProcessorFactory的skipOnError="true"是核心配置，开启后Solr遇到字段无法转换为定义类型时，会直接跳过该字段，继续处理文档中的其他字段和后续文档

2. 验证效果 #

用你提供的测试文档插入时：

• 第一个文档会完整索引，两个字段都正常存储
• 第二个文档中someOtherInt字段因类型不匹配被跳过，仅someInt字段被索引
• 第三个文档完整索引，不受第二个文档的错误影响
• 日志中会生成类似Error parsing field 'someOtherInt'='This is not an int' as type 'pint'的错误记录

3. 可选：按需指定处理器链 #

如果不想把该处理器链设为默认，可以在更新请求中通过参数指定：

POST /api/collections/myCollection/update?update.chain=skip-bad-fields

注意事项 #

• 确保你的Solr版本（7.x及以上）支持该配置，主流稳定版本均兼容
• 调整日志级别：在Solr的log4j2.xml中，确保org.apache.solr.update.processor.LogUpdateProcessorFactory的日志级别设为INFO或WARN，才能看到错误记录
• 该配置与Managed Schema兼容，无需修改字段定义

内容的提问来源于stack exchange，提问作者Eric