ElasticSearch跨索引关联字段update by query批量更新方法

ES原生不支持类SQL的跨索引JOIN更新语法，所有跨索引字段同步都需要通过「拉取关联映射+批量回写」的流程实现，以下是两种可直接落地的方案，适配不同数据规模场景。

方案1：Update By Query 批量更新（适配百万级以内数据量的一次性更新场景） #

• 第一步：全量拉取productPacks索引的关联字段，构建productPackId-imageUrl映射字典
  当productPacks数据量超过1万条时，必须使用scroll或search_after分页拉取，禁止使用from+size深度分页触发集群内存压力。拉取示例请求：

  POST /productPacks/_search?scroll=1m
  {
    "size": 1000,
    "_source": ["productPackId", "imageUrl"],
    "query": {"match_all": {}}
  }
  

  每次请求返回的_scroll_id作为下一次翻页的入参，直到拉取完全部文档，在本地内存组装成KV映射字典即可。
• 第二步：遍历映射字典，逐组调用Update By Query接口更新products索引
  针对每个productPackId，匹配products下所有关联文档，写入对应的imageUrl字段，以productPackId=1为例的请求示例：

  POST /products/_update_by_query?conflicts=proceed
  {
    "script": {
      "source": "ctx._source.imageUrl = params.imageUrl",
      "params": {"imageUrl": "https://mywebsite.com/image1.jpg"}
    },
    "query": {
      "term": {"productPackId": 1}
    }
  }
  

  请求中加conflicts=proceed可以避免部分文档版本冲突导致整个更新任务中断；如果单组匹配的文档量超过10万，可以追加wait_for_completion=false参数将任务转为异步执行，通过ES的tasks接口查看任务进度。

方案2：Bulk批量写入（适配千万级以上数据量、或需长期持续同步的场景） #

• 一次性全量更新场景：写轻量处理脚本，通过scroll接口分批拉取products全量文档，在程序侧关联提前拉取好的productPackId-imageUrl映射，给每条products文档补上imageUrl字段后，调用Bulk接口批量写回products索引，写入效率比逐组调用Update By Query高3_{10倍。单批Bulk写入的文档数控制在1000}3000条、总大小控制在5MB~15MB区间，写入性能最优。
• 长期增量同步场景：在productPacks索引的写入链路增加变更监听，当某个productPackId对应的imageUrl发生变更时，自动触发对应productPackId的products文档批量更新，无需每次全量重跑任务。

注意：不要尝试使用ES的parent-child、nested关联类型实现该需求，这两类能力仅支持查询时的关联匹配，不支持跨索引字段自动回写，强行使用会大幅降低集群读写性能。

内容的提问来源于stack exchange，提问作者miltonlaufer