Logstash更新Elasticsearch文档时，如何向数组属性添加新元素？

我明白你遇到的困扰了——默认的更新操作会直接替换children字段的值，而不是往数组里追加新元素。要实现数组元素的新增，我们得借助Elasticsearch的Painless脚本来完成追加逻辑，而不是简单的字段替换。

核心思路 #

通过Logstash的elasticsearch输出插件，使用action => "update"模式，配合自定义的Painless脚本，将子文档对象追加到父文档的children数组中。脚本里会调用数组的add()方法来实现元素的新增，而不是覆盖整个数组。

具体配置示例 #

假设你的子文档中包含一个parent_id字段，用来关联父文档的_id，子文档还有child_id、child_name等字段，以下是完整的Logstash配置片段：

# 读取子文档的输入部分（比如file、kafka等）
input {
  file {
    path => "/path/to/child_docs.json"
    codec => "json"
  }
}

filter {
  # 这里可以添加子文档的处理逻辑，比如字段过滤、格式转换等
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "your_parent_index_name" # 父文档所在的索引名
    action => "update" # 指定执行更新操作
    document_id => "%{parent_id}" # 用子文档中的parent_id匹配父文档的_id
    script => {
      source => "
        # 保险起见，先判断children数组是否存在（避免父文档未初始化的情况）
        if (!ctx._source.containsKey('children')) {
          ctx._source.children = [];
        }
        # 将子文档对象追加到数组中
        ctx._source.children.add(params.child);
      "
      params => {
        # 定义要追加的子文档对象，根据你的子文档字段调整
        "child" => {
          "id" => "%{child_id}",
          "name" => "%{child_name}",
          "content" => "%{child_content}"
          # 其他子文档字段按需添加
        }
      }
    }
    doc_as_upsert => false # 父文档已存在，不需要自动创建新文档
  }
}

关键细节说明 #

1. action => "update"：告诉Logstash对目标文档执行更新操作，而非创建或替换。
2. document_id => "%{parent_id}"：通过子文档中的parent_id字段精准定位到对应的父文档。
3. Painless脚本逻辑：
   • 先检查children数组是否存在，如果不存在就初始化一个空数组（虽然你第一步已经创建了空数组，但这个判断能避免极端情况下的异常）。
   • 使用add()方法将params.child中的子文档对象追加到数组末尾，完全不会覆盖原有元素。
4. params参数：这里定义了要追加的子文档结构，你可以根据实际的子文档字段灵活调整，甚至可以传递整个子文档对象。

进阶技巧：传递整个子文档 #

如果你想直接把整个子文档对象追加到数组，不需要逐个字段定义，可以在filter阶段把整个事件转成一个字段，再传入脚本：

filter {
  ruby {
    code => "event.set('full_child_doc', event.to_hash)"
  }
}

output {
  elasticsearch {
    # 其他配置同上
    script => {
      source => "
        if (!ctx._source.containsKey('children')) {
          ctx._source.children = [];
        }
        ctx._source.children.add(params.full_child);
      "
      params => {
        "full_child" => "%{full_child_doc}"
      }
    }
  }
}

这样就能直接把整个子文档的所有字段都追加到children数组中，更灵活高效。

注意事项 #

• 确保Logstash的Elasticsearch插件版本与你的Elasticsearch集群版本兼容，避免脚本语法不兼容的问题。
• 如果你已经在第一步确保父文档的children字段是数组类型，脚本执行会更顺畅。

内容的提问来源于stack exchange，提问作者Daniele Licitra