Elasticsearch如何实现新旧文档合并而非全量覆盖

该需求可完全通过Elasticsearch原生能力实现，无需在应用层提前拉取旧文档做全量合并后覆盖，核心基于Update API搭配Painless脚本完成，原子性、性能均优于应用层合并方案。

前置映射配置 #

要实现嵌套数组内元素按主键匹配替换，必须将数组类型字段books设置为nested类型，避免ES默认扁平化存储对象数组导致的元素匹配错误。参考映射配置如下：

PUT /student_index
{
  "mappings": {
    "properties": {
      "id": { "type": "keyword" },
      "student_name": { "type": "text" },
      "address": { "type": "text" },
      "books": {
        "type": "nested",
        "properties": {
          "book_id": { "type": "keyword" },
          "book_name": { "type": "text" },
          "status": { "type": "keyword" }
        }
      }
    }
  }
}

注意：如果索引已经创建，无法直接修改已有字段类型，需要新建符合映射要求的索引，通过reindex迁移历史数据后再使用。

具体执行语句 #

使用scripted_upsert模式，自动兼容「文档不存在则插入、存在则按规则合并」的场景，无需提前判断文档是否存在：

POST /student_index/_update/1
{
  "scripted_upsert": true,
  "script": {
    "source": """
      // 处理顶层字段：新数据携带的字段直接覆盖/新增，未携带的旧字段保留原值
      for (entry in params.new_data.entrySet()) {
        if (entry.getKey() != 'books') {
          ctx._source[entry.getKey()] = entry.getValue();
        }
      }
      // 初始化books数组，兼容原文档无该字段的场景
      if (ctx._source.books == null) {
        ctx._source.books = [];
      }
      // 处理books数组：相同book_id的条目替换，新book_id条目追加
      for (newBook in params.new_data.books) {
        boolean exists = false;
        for (int i = 0; i < ctx._source.books.size(); i++) {
          if (ctx._source.books[i].book_id == newBook.book_id) {
            ctx._source.books[i] = newBook;
            exists = true;
            break;
          }
        }
        if (!exists) {
          ctx._source.books.add(newBook);
        }
      }
    """,
    "params": {
      "new_data": {
        "id": "1",
        "address": "Bangalore",
        "books": [
          {
            "book_id": "11",
            "book_name": "History",
            "status": "Finished"
          },
          {
            "book_id": "12",
            "book_name": "History",
            "status": "Started"
          }
        ]
      }
    }
  },
  // 文档不存在时的初始写入内容
  "upsert": {
    "id": "1",
    "address": "Bangalore",
    "books": [
      {
        "book_id": "11",
        "book_name": "History",
        "status": "Finished"
      },
      {
        "book_id": "12",
        "book_name": "History",
        "status": "Started"
      }
    ]
  }
}

方案特性 #

• 完全匹配合并规则：顶层字段自动保留旧值、新增字段自动追加、同名字段更新为新值；数组元素按主键匹配替换、新元素自动追加
• 原子执行：整个更新逻辑在ES分片内部完成，无并发写入冲突，一致性远高于应用层「查-改-写」的模式
• 性能更优：省去应用层拉取旧文档的网络IO，写入延迟更低
• 兼容性强：上述脚本在Elasticsearch 7.x、8.x全版本通用，若后续数组匹配主键变更，仅需修改脚本中判断字段名即可适配

内容的提问来源于stack exchange，提问作者Rahul