异步Update by query任务无冲突记录ID：版本冲突处理疑问

问题描述 #

以异步任务（wait_for_completion=false）执行Update by query，设置conflicts=proceed后，能在/task/task-id响应中看到冲突计数（如示例中version_conflicts为279），但**failures数组为空，无法获取冲突记录ID**，导致无法对冲突数据进行重处理。而设置conflicts=abort时，响应中能正常显示失败详情。

任务响应示例 #

"response" : {
    "took" : 69055,
    "timed_out" : false,
    "total" : 286164,
    "updated" : 285885,
    "created" : 0,
    "deleted" : 0,
    "batches" : 287,
    "version_conflicts" : 279,
    "noops" : 0,
    "retries" : {
      "bulk" : 0,
      "search" : 0
    },
    "throttled" : "0s",
    "throttled_millis" : 0,
    "requests_per_second" : -1.0,
    "throttled_until" : "0s",
    "throttled_until_millis" : 0,
    "failures" : [ ]
  }

使用的Update by query模板 #

{
    "conflicts": "proceed",
    "query": {
        "term": {
            "location_id": {
                "value": 121
            }
        }
    },
    "script": {
        "params": {},
        "source": "ctx._source.sys_updated_at = new Date();ctx._source.location_name = 'New York';"
    }
}

解决建议 #

• 明确conflicts=proceed的设计逻辑：当设置为proceed时，Elasticsearch仅统计版本冲突的数量，会自动跳过冲突文档继续执行任务，不会将冲突详情写入failures数组。只有当任务因错误终止（如conflicts=abort）时，才会在failures中记录具体失败项。
• 启用冲突日志记录：若需要追踪具体冲突文档，可在请求中添加conflict_processor脚本，将冲突文档的ID、索引等关键信息写入专门的日志索引，方便后续重处理。示例请求如下：

{
    "conflicts": "proceed",
    "query": {
        "term": {
            "location_id": {
                "value": 121
            }
        }
    },
    "script": {
        "params": {},
        "source": "ctx._source.sys_updated_at = new Date();ctx._source.location_name = 'New York';"
    },
    "conflict_processor": {
        "script": {
            "source": "ctx._index = 'conflict_logs'; ctx._id = ctx._id + '_' + new Date().getTime(); ctx._source = { 'doc_id': ctx._id, 'source_index': ctx._index, 'reason': 'version conflict', 'timestamp': new Date() }"
        }
    }
}

• 重处理冲突数据：通过上述日志索引conflict_logs，可查询到所有冲突文档的ID和来源索引，之后针对这些ID单独发起Update请求，或批量生成Update请求进行处理。
• 临时应急方案：如果不需要持续追踪冲突，可临时将conflicts设为abort，执行任务获取一批冲突ID后处理，再改回proceed完成全量更新。注意此方式会在遇到冲突时终止任务，仅适合小批量数据场景。

内容的提问来源于stack exchange，提问作者Irfan Ulla