使用Elasticsearch Reindex API(opType=create)时出现版本冲突问题排查

使用带有opType=create的Reindex API，原本预期只会插入新记录，不会出现冲突，但却收到了版本冲突提示。想知道：

• 冲突的原因是什么？
• Elasticsearch在Reindex过程中，检查文档是否存在与插入操作之间是否存在时间差（未使用CAS机制）？
• 将conflicts设置为proceed，是否就能实现只插入不存在的文档？
• 是否需要实现客户端锁/互斥机制？

错误信息 #

{
  "completed": true,
  "task": {
    "node": "xxx",
    "id": 63525604,
    "type": "transport",
    "action": "indices:data/write/reindex",
    "status": {
      "total": 1101727,
      "updated": 0,
      "created": 240999,
      "deleted": 0,
      "batches": 241,
      "version_conflicts": 1,
      "noops": 0,
      "retries": {
        "bulk": 0,
        "search": 0
      },
      "throttled_millis": 479999,
      "requests_per_second": 500,
      "throttled_until_millis": 0
    },
    "description": "reindex from [xxx] to [xxx][_doc]",
    "start_time_in_millis": 1696388661522,
    "running_time_in_nanos": 554683695369,
    "cancellable": true,
    "cancelled": false,
    "headers": {}
  },
  "response": {
    "took": 554678,
    "timed_out": false,
    "total": 1101727,
    "updated": 0,
    "created": 240999,
    "deleted": 0,
    "batches": 241,
    "version_conflicts": 1,
    "noops": 0,
    "retries": {
      "bulk": 0,
      "search": 0
    },
    "throttled": "7.9m",
    "throttled_millis": 479999,
    "requests_per_second": 500,
    "throttled_until": "0s",
    "throttled_until_millis": 0,
    "failures": [
      {
        "index": "xxx",
        "type": "_doc",
        "id": "xxx",
        "cause": {
          "type": "version_conflict_engine_exception",
          "reason": "[xxx]: version conflict, document already exists (current version [3])",
          "index_uuid": "xxx",
          "shard": "0",
          "index": "xxx"
        },
        "status": 409
      }
    ]
  }
}

• 冲突原因：Reindex不是原子操作，它分批次执行「搜索源文档→批量写入目标索引」的流程。在搜索到某条源文档到将其写入目标索引的时间窗口内，可能有其他操作（比如另一个Reindex任务、直接写入API）已经在目标索引中创建了相同ID的文档。此时opType=create会触发版本冲突——因为这个参数的逻辑就是只有文档不存在时才允许写入，一旦目标已有同ID文档，就会抛出409冲突。

• 时间差与CAS机制：确实存在时间差，Reindex本身没有用CAS来原子化“检查+写入”的操作。Elasticsearch的版本控制是基于文档版本号的，opType=create会检查目标文档的版本是否为-1（不存在的标记），如果此时文档已被其他操作创建（版本号≥1），就会触发冲突。

• conflicts=proceed的作用：完全可以实现只插入不存在的文档。设置这个参数后，Reindex遇到版本冲突时会自动跳过冲突文档，继续执行剩余任务。最终目标索引中只会新增原本不存在的文档，已存在的会被忽略，不会中断整个Reindex流程。

• 是否需要客户端锁：不需要。conflicts=proceed已经通过Elasticsearch的内部版本控制处理了并发冲突场景，额外实现客户端锁会增加分布式场景下的复杂度，完全没必要。

内容的提问来源于stack exchange，提问作者xander27