Elasticsearch ingest pipeline中split数组元素访问问题求助

问题分析 #

你的配置存在两个核心问题：

1. 字段路径不匹配：grok处理器将内容提取到pac.log.deo.trigger.path，但split处理器却操作@metadata.pac.log.deo.trigger.path——这个@metadata下的字段并未被赋值，导致split实际未处理有效数据。
2. set处理器的语法限制：即使split生成了数组，set处理器的Mustache模板语法无法直接访问@metadata中的数组元素，需要用更灵活的script处理器实现。

修正后的Pipeline配置 #

以下是调整后的完整配置，可实现需求：

- grok:
    field: message
    patterns:
      - ^TRIGGER OCCURRED: %{GREEDYDATA:pac.log.deo.trigger.path}
    tag: TRIGGER

- split:
    if: ctx.pac.log.tags != null && ctx.pac.log.tags.contains('TRIGGER')
    field: pac.log.deo.trigger.path
    separator: "/"
    target_field: "@metadata.pac.log.deo.trigger.path" # 将split结果存入@metadata指定路径

- script:
    if: ctx.pac.log.tags != null && ctx.pac.log.tags.contains('TRIGGER') && ctx._metadata?.pac?.log?.deo?.trigger?.path != null
    lang: painless
    source: |
      // 直接访问@metadata中的数组元素并赋值
      ctx.pac.log.deo.trigger.provider = ctx._metadata.pac.log.deo.trigger.path[0];

关键说明 #

1. 修正split的目标字段：通过target_field参数，将split后的数组直接存入@metadata指定路径，确保数据流转正确。
2. 使用script处理器：Painless脚本支持直接访问ctx._metadata（@metadata在Painless中的写法为ctx._metadata），可轻松读取数组索引对应的元素并赋值给目标字段。
3. 空值防护：在script的条件中增加数组非空判断，避免数组为空时抛出异常。

效果验证 #

针对日志示例TRIGGER OCCURRED: Timer/Period [seconds]/10 seconds，处理后：

• @metadata.pac.log.deo.trigger.path会生成数组["Timer", "Period [seconds]", "10 seconds"]
• pac.log.deo.trigger.provider会被赋值为"Timer"

内容的提问来源于stack exchange，提问作者Florian Bär