Elasticsearch如何为嵌套对象新增基于现有字段赋值的新字段

步骤1：更新索引映射，预定义新增字段 #

首先需要更新索引的mapping，显式声明嵌套对象C下的新增字段类型，避免动态映射推断出不符合预期的字段类型，也可以提前配置null_value等属性适配查询需求。
示例请求：

PUT /<你的索引名>/_mapping
{
  "properties": {
    "C": { // 你的嵌套对象字段名
      "type": "nested",
      "properties": {
        // 新增固定默认值的字段
        "new_field1": {
          "type": "keyword",
          "null_value": "default_val" // 可选配置，查询时会将null值替换为该值参与计算
        },
        "new_field2": {
          "type": "integer",
          "null_value": 0
        },
        // 新增需要基于现有字段计算的字段
        "calc_field": {
          "type": "long"
        }
      }
    }
  }
}

注意：嵌套对象的type必须为nested，如果原有mapping中已经配置过C的nested属性，只需要在properties下补充新增字段即可，不会影响原有数据

步骤2：批量更新存量文档，填充字段值 #

使用_update_by_query接口批量更新所有存量文档，一条请求即可同时完成固定默认值赋值、基于现有字段的动态计算赋值：
示例请求：

POST /<你的索引名>/_update_by_query?refresh=true&slices=auto
{
  "query": { // 可选，仅更新符合条件的文档，不需要全量更新可配置
    "exists": {
      "field": "C" // 仅处理存在嵌套对象C的文档
    }
  },
  "script": {
    "lang": "painless",
    "source": """
      // 给新增字段设置固定默认值
      ctx._source.C.new_field1 = "default_val";
      ctx._source.C.new_field2 = 0;
      // 基于文档E的现有字段existing_field给calc_field赋值，可根据需求修改计算逻辑
      ctx._source.C.calc_field = ctx._source.existing_field;
    """
  }
}

参数说明：

• slices=auto：自动开启并行分片执行，大幅提升大数据量下的更新效率
• refresh=true：更新完成后立即刷新索引可见，数据量极大的场景建议去掉该参数，等待索引自动刷新
• 若数据量极大、执行时间过长，可添加wait_for_completion=false参数异步执行，后续可通过返回的task id查看执行进度

步骤3（可选）：配置自动管道处理新写入文档 #

如果需要后续新写入的文档自动填充这些新增字段，可配置Ingest Pipeline绑定到索引，无需业务侧修改写入逻辑：

1. 创建管道

PUT _ingest/pipeline/fill_c_new_fields
{
  "processors": [
    {
      "set": {
        "field": "C.new_field1",
        "value": "default_val",
        "override": false // 可选，设为false表示如果写入时已经传了该字段值则不覆盖
      }
    },
    {
      "set": {
        "field": "C.new_field2",
        "value": 0,
        "override": false
      }
    },
    {
      "script": {
        "lang": "painless",
        "source": "ctx.C.calc_field = ctx.existing_field;"
      }
    }
  ]
}

2. 绑定到索引默认管道

PUT /<你的索引名>/_settings
{
  "index.default_pipeline": "fill_c_new_fields"
}

注意事项 #

• 更新mapping前务必在测试环境验证字段类型配置，Elasticsearch字段类型一旦设置成功无法修改，只能重建索引
• 正式执行_update_by_query前可添加dry_run=true参数预览影响的文档数量，确认更新逻辑无误后再正式执行
• 如果嵌套对象C是多值数组，script中可以通过循环遍历给每个C对象的新增字段赋值

内容的提问来源于stack exchange，提问作者Mandroid