为键值对编写Grok模式：含等号日志解析异常求助

问题原因 #

当前KV处理器的field_split正则逻辑存在缺陷：\\s(?![^=]+?(\\s|$))试图通过负向预查排除值内的空格，但当值中包含额外等号（如path=/job?id=12345）时，预查逻辑会误判，导致字段拆分错误，最终解析失效。

现成解决方案 #

方案1：修改KV处理器的字段拆分正则

使用正向预查精准匹配字段分隔符，只拆分那些后面紧跟键名=的空格，完全避免误拆分值内的内容。修改后的KV处理器配置如下：

{
  "kv" : {
    "field": "logtail",
    "field_split": "\\s+(?=[a-zA-Z_]+=)",
    "value_split": "=",
    "ignore_failure" : true
  }
}

这个正则\\s+(?=[a-zA-Z_]+=)的作用是：匹配一个或多个空格，且空格后方必须是由字母/下划线组成的键名加等号，确保只会在字段之间的分隔空格处拆分，不会影响值内的任何字符（包括等号、空格）。

方案2：用Grok直接匹配所有固定字段（适用于键名固定的场景）

如果日志的键名是固定的，直接用Grok模式一次性匹配所有字段，完全绕过KV拆分的问题，解析更稳定。示例Grok模式及对应处理器配置如下：

{
  "grok": {
    "field": "log",
    "patterns": [
      "%{TIME_STAMP:ts} level=%{DATA:level} channel=%{DATA:channel} method=%{DATA:method} path=%{DATA:path} user_agent=%{QS:user_agent} request_action=%{DATA:request_action} duration=%{NUMBER:duration} status=%{NUMBER:status} content_length=%{NUMBER:content_length}"
    ],
    "pattern_definitions": {
      "TIME_STAMP": "%{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{TIME}"
    },
    "ignore_failure": true,
    "ignore_missing": true
  }
}

验证效果 #

修改后，对于包含额外等号的日志（如2024-09-24 15:07:59,572 level=INFO channel=wsgi.request method=GET path=/job?id=12345 user_agent="ELB-HealthChecker/2.0" request_action=finish duration=0.005 status=200 content_length=26），path字段会被正确解析为/job?id=12345，不会被拆分。

内容的提问来源于stack exchange，提问作者user7692855