如何为竖线分隔的多行日志配置Filebeat.yml的Dissect处理器？

问题场景 #

已成功配置Filebeat读取竖线分隔的多行日志，日志格式示例：

datetime | blurb | blurb2 | <?xml><maintag .....
more xml 
more xml
more xml
</maintag>

Multiline处理器正常工作，尝试用Dissect处理器提取第4部分的XML内容，配置如下：

processors:
    - dissect:
        field: "message"
        tokenizer: "${sw.date} | ${sw.blurb1} | ${sw.blurb2} | ${sw.message_xml}"
        target_prefix: ""

启动Filebeat时触发报错：

{"log.level":"error","@timestamp":"2022-10-06T08:51:42.612Z","log.origin":{"file.name":"instance/beat.go","file.line":1022},"message":"Exiting: Failed to start crawler: starting input failed: could not unpack config: missing field accessing 'filebeat.inputs.1.processors' (source:'filebeat.yml')","service.name":"filebeat","ecs.version":"1.6.0"}
Exiting: Failed to start crawler: starting input failed: could not unpack config: missing field accessing 'filebeat.inputs.1.processors' (source:'filebeat.yml')

问题原因与解决 #

核心错误：配置层级错误 #

报错提示的「缺少字段」本质是**processors的配置位置不符合Filebeat的结构要求**：

• 你当前的配置把processors放在了filebeat.inputs.1的层级下，但格式不完整；Filebeat的处理器配置分两种合法层级：
  1. 全局处理器：直接放在配置文件根层级，对所有输入日志生效
  2. 输入级处理器：作为filebeat.inputs数组内某个input的直接子字段

额外问题：Dissect语法错误 #

你的tokenizer使用了${}符号，但Dissect的变量占位符正确格式是%{}，这会导致后续提取逻辑失效。

正确配置示例 #

方式1：全局处理器

filebeat.inputs:
  - type: log
    paths:
      - /path/to/your/target/logs/*.log
    # 保持你已配置好的Multiline规则
    multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}' # 根据实际datetime格式调整
    multiline.negate: true
    multiline.match: after

# 全局processors，对所有input生效
processors:
  - dissect:
      field: "message"
      tokenizer: "%{sw.date} | %{sw.blurb1} | %{sw.blurb2} | %{sw.message_xml}"
      target_prefix: ""

方式2：输入级处理器

filebeat.inputs:
  - type: log
    paths:
      - /path/to/your/target/logs/*.log
    # 已生效的Multiline规则
    multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
    multiline.negate: true
    multiline.match: after
    # 直接作为当前input的子字段配置processors
    processors:
      - dissect:
          field: "message"
          tokenizer: "%{sw.date} | %{sw.blurb1} | %{sw.blurb2} | %{sw.message_xml}"
          target_prefix: ""

补充说明 #

因为Multiline已经将整段XML合并到message字段中，Dissect的%{sw.message_xml}会自动捕获分隔符后的所有内容（包括换行），无需额外配置。

内容的提问来源于stack exchange，提问作者Steve H