Solr Core原子更新批量失败处理：单缺失文档影响整批更新的解决方案

使用Python脚本对Solr 6.5.0 Core进行原子更新批量处理时遇到以下问题：

• 脚本以10000条文档为一批发送原子更新请求，多数场景下正常运行，但当批次中某一文档在执行期间被其他进程从Core移除时，会返回400错误，导致整批文档均无法完成更新。
• 受性能限制，无法采用单文档逐个更新的方式。

当前发送请求的代码：

headers = {"Content-type": "application/json"}
response = requests.post(solr_core_url, data=json_data, headers=headers)

其中json_data包含10000条文档的更新数据。

触发的错误信息：

{"responseHeader":{"status":400,"QTime":20},"error":{"metadata":["error-class","org.apache.solr.common.SolrException","root-error-class","org.apache.solr.common.SolrException"],"msg":"[doc=93961393634] missing required field: datatype","code":400}}

需要解决的问题：

1. 如何修改脚本或调整方案，处理单文档缺失导致整批原子更新失败的400错误？
2. 有哪些技术或策略可确保原子更新对文档过期场景具备韧性？

问题1：处理单文档缺失导致整批失败的方案 #

方案1：启用Solr批量更新的错误忽略机制 #

Solr 6.5.0支持在批量更新请求中添加ignoreErrors参数，让Solr跳过单个文档的更新错误，继续处理批次内其他文档。只需调整json_data的结构：
原更新数据结构为：

{"add": {"docs": [doc1, doc2, ...]}}

修改为：

{"add": {"docs": [doc1, doc2, ...], "ignoreErrors": true}}

修改后的Python代码无需变更请求方式，仅需在构造json_data时加入该参数。响应中会包含错误文档的信息，但不会阻断其他文档的更新。

方案2：批次失败后拆分重试 #

若不想依赖Solr的内置错误忽略，可在捕获400错误后，解析错误信息定位失效文档，移除后重新发送剩余批次：

import json
import requests

def send_update_batch(solr_core_url, docs):
    headers = {"Content-type": "application/json"}
    payload = {"add": {"docs": docs, "commitWithin": 1000}}
    response = requests.post(solr_core_url, data=json.dumps(payload), headers=headers)
    
    if response.status_code == 400:
        error_detail = response.json()
        error_msg = error_detail.get("error", {}).get("msg", "")
        # 从错误信息中提取失效文档ID
        if "[doc=" in error_msg:
            id_start = error_msg.find("[doc=") + 5
            id_end = error_msg.find("]", id_start)
            failed_id = error_msg[id_start:id_end]
            # 过滤失效文档
            filtered_docs = [doc for doc in docs if doc.get("id") != failed_id]
            if filtered_docs:
                # 重试发送过滤后的批次
                return send_update_batch(solr_core_url, filtered_docs)
    return response

注意：此方法需确保错误信息能稳定提取文档ID，且建议设置重试次数上限，避免无限循环。

问题2：提升原子更新对文档过期场景的韧性策略 #

• 强制启用ignoreErrors参数：这是最轻量化的方案，无需复杂逻辑即可让批量更新跳过失效文档，优先保证大部分文档的更新成功率。
• 优化批次大小：将10000条的大批次拆分为2000-5000条的小批次，即使某一批次失败，影响范围更小，拆分重试的成本更低。
• 预检查文档存在性：发送更新前，通过Solr的select接口批量校验文档ID是否存在（使用id:(id1 OR id2 OR ...)查询），过滤掉不存在的文档后再发起更新请求。
• 引入乐观锁机制：给文档添加version字段，更新时携带当前版本号，结合ignoreErrors，当文档被移除或版本不匹配时自动跳过，避免无效更新。
• 异步队列缓冲：将更新请求放入消息队列（如Redis、RabbitMQ），由消费者进程批量处理。当批次失败时，将失败批次重新入队并设置指数退避重试，降低Solr的瞬时压力。
• 监控告警：监控Solr更新错误日志，当出现大量文档缺失错误时及时告警，排查文档过期移除逻辑是否存在异常（如过期时间设置不合理、移除进程逻辑bug）。

内容的提问来源于stack exchange，提问作者Sumit Raj