Elasticsearch Reindex API合并冲突：如何保留目标字段仅新增源字段

问题核心 #

Reindex API默认行为是全量替换目标文档，即使你在source中指定_source过滤字段，也会用这些字段覆盖目标文档，导致原有字段丢失。要实现保留目标索引现有字段、仅新增源索引指定字段的需求，需要结合**脚本（script）**和upsert操作。

正确实现方案 #

使用Reindex API时，通过自定义脚本将源文档的指定字段合并到目标文档中，而非直接替换。具体请求如下：

POST _reindex
{
  "source": {
    "index": "i1",
    "_source": ["f2"]  // 仅获取需要新增到i2的字段
  },
  "dest": {
    "index": "i2",
    "op_type": "upsert"  // 目标存在则更新，不存在则插入
  },
  "script": {
    "source": "ctx._source.putAll(ctx._source_from);"
  }
}

方案说明 #

1. 源字段过滤：source._source指定仅从i1中提取需要合并的字段（如示例中的f2），减少数据传输量，同时避免i1中无用的旧字段（如f1的vOld）被带入。
2. Upsert模式：dest.op_type: "upsert"确保当i2中存在对应ID的文档时执行更新操作，不存在则插入源文档（适配你的ID一致场景）。
3. 字段合并脚本：ctx._source代表目标索引的现有文档数据，ctx._source_from代表从源索引传来的过滤后数据。putAll()方法会将源字段合并到目标文档中，不会覆盖目标已存在的字段——对应你的示例，i2中f1的vNew会被保留，同时新增f2: "v"。

为什么之前的方法无效 #

• 直接在dest中设置_source是错误用法：该参数用于控制目标文档存储的_source字段内容，而非更新时的字段过滤，因此会导致目标文档仅保留指定字段，丢失原有数据。
• version_type: external仅用于版本控制逻辑（根据版本号决定是否替换全文档），无法实现字段级别的合并更新。

扩展注意事项 #

• 若需要合并多个新增字段，只需在source._source中添加所有目标字段即可（如["f2", "f3", "f4"]）。
• 确保Elasticsearch允许使用inline脚本：若集群禁用了inline脚本，可将脚本存储为存储脚本后调用。
• 操作前建议在测试索引验证效果，避免影响生产数据。

内容的提问来源于stack exchange，提问作者Ali Zarean