如何用Filebeat Dissect处理器解析含不均空格的日志内容？

方案1：改用Grok模式（推荐） #

Dissect依赖精确的分隔符匹配，无法处理可变数量的空格，而Grok支持正则表达式，能完美适配这种场景。替换原Dissect配置为：

- grok:
    match:
      message: '%{LOGLEVEL:log.level}\s+;\s%{TIMESTAMP_ISO8601:timestamp};\s%{GREEDYDATA:message}'

字段说明： #

• %{LOGLEVEL:log.level}：自动匹配标准日志级别（INFO/DEBUG/WARN等），并映射到log.level字段
• \s+：匹配一个或多个任意空白字符，解决空格数量不一致的问题
• %{TIMESTAMP_ISO8601:timestamp}：精准匹配ISO8601格式的时间戳
• %{GREEDYDATA:message}：捕获日志行剩余的所有内容，避免截断

方案2：预处理日志统一空格格式（保留Dissect） #

如果必须使用Dissect，可以先通过mutate过滤器将日志级别后的可变空格替换为固定数量，再执行解析：

- mutate:
    gsub:
      - source: "message"
        pattern: '^([A-Z]+)\s+;'
        replacement: '\1    ;'
- dissect:
    tokenizer: "%{log.level}    ; %{+timestamp} ; %{?message}"
    field: "message"
    target_prefix: ""

预处理逻辑： #

• 正则^([A-Z]+)\s+;匹配行首的日志级别（大写字母）+ 任意数量空格 + 分号
• 替换为\1 ;，将日志级别后的空格统一为4个，和原Dissect的tokenizer格式对齐

方案3：多tokenizer匹配（局限性大） #

如果日志级别后的空格数只有几种固定情况（比如INFO后4个、DEBUG后3个），可以给Dissect配置多个tokenizer：

- dissect:
    tokenizer:
      - "%{log.level}    ; %{+timestamp} ; %{?message}"
      - "%{log.level}   ; %{+timestamp} ; %{?message}"
    field: "message"
    target_prefix: ""

但此方案仅适用于空格数明确且有限的场景，扩展性差，不推荐用于复杂日志。

内容的提问来源于stack exchange，提问作者pizza_pasta