更新Solr文档出现重复版本问题求助

问题背景 #

我在.NET Core项目中通过以下代码更新Solr文档：

public Task<HttpResponseMessage> UpdateDocumentAsync(List<SolrDocument> SolrDocument, CancellationToken cancellationToken)
{
    _request.Method = HttpMethod.Post;

    _request.RequestUri = new Uri($"{this._baseUri}/update?overwrite=true&commitWithin=2000&wt=json");

    var content = new StringContent(JsonConvert.SerializeObject(SolrDocument), Encoding.UTF8, "application/json");

    _request.Content = content;

    return base.SendAsync(_request, cancellationToken);
}

已在请求URL中指定overwrite=true，且Solr Schema已配置唯一键：

<?xml version="1.0" encoding="UTF-8" ?>
<schema name="My Project Solr 7.2.0 (stable version) Instance" version="1.6">
<field name="id" type="string" indexed="true" stored="true" required="true" />
<field name="_version_" type="long" indexed="true" stored="true"/>
<!-- tons of other fields -->
<uniqueKey>id</uniqueKey>

但更新后仍出现同ID但不同_version_的文档，查询id:12345时随机返回新旧版本，旧版本缺少新增字段，新版本有。需要强制Solr更新时清理旧文档。

解决方法 #

1. 先验证硬提交是否生效 #

commitWithin=2000属于软提交，可能存在索引未及时合并的延迟问题，先改为硬提交测试：
将请求URL调整为：

{this._baseUri}/update?overwrite=true&commit=true&wt=json

硬提交会立即将变更写入磁盘并刷新索引，能避免因延迟提交导致的版本共存问题。如果测试有效，可再根据业务需求调整提交策略（比如保留commitWithin但优化参数，或结合定时索引优化）。

2. 检查Solr Update处理器配置 #

确保Solr的solrconfig.xml中启用了支持overwrite的默认更新处理器，默认配置应包含：

<updateHandler class="solr.DirectUpdateHandler2">
  <updateLog>
    <str name="dir">${solr.data.dir:}</str>
  </updateLog>
</updateHandler>

DirectUpdateHandler2是原生支持基于uniqueKey覆盖文档的处理器，若自定义了更新处理器，需确认其配置中包含overwrite逻辑。

3. 确认文档序列化时ID字段的一致性 #

检查JsonConvert.SerializeObject(SolrDocument)序列化后的JSON中，id字段的大小写、格式、值是否和Solr中已存在的文档完全一致：

• 比如Solr中存储的id是字符串"12345"，但序列化后变成数字12345，会被判定为不同ID
• 排查是否存在空格、特殊字符等隐式差异

可在代码中添加日志，输出序列化后的JSON内容，对比Solr现有文档的ID字段。

4. 手动清理已存在的重复文档 #

如果已经产生大量重复文档，可通过Solr的Delete API清理旧版本：
发送POST请求到/update，内容为：

{
  "delete": {
    "query": "id:12345 AND _version_:[* TO {最新版本号}]"
  },
  "commit": true
}

或者直接删除对应ID的所有文档，再重新导入最新版本：

{
  "delete": { "id": "12345" },
  "commit": true
}

执行完成后再提交新的更新请求，确保文档唯一性。

5. 检查Solr版本的已知问题 #

你使用的Solr 7.2.0存在部分与overwrite、提交逻辑相关的已知bug，比如特定场景下软提交会导致版本冲突。可考虑升级到同系列的稳定版本（如7.7.3），或查阅官方Release Notes确认是否有对应修复。

内容的提问来源于stack exchange，提问作者RaZzLe