如何通过Grok pattern提取日志中无序的公共必填属性？

完全可以通过Grok匹配实现忽略属性顺序、提取指定公共字段的需求，核心逻辑是用非捕获惰性匹配跳过任意无关内容，单独为每个目标字段编写匹配规则，不受字段排列顺序、额外字段存在的影响。

核心Grok匹配规则 #

针对你提供的日志样例，提取公共字段的Pattern如下：

(?:.*?VERSION=>%{NOTSPACE:version}(?:,|\n|$))?
(?:.*?X_IP=>%{IP:client_ip}(?:,|\n|$))?
(?:.*?PROTO=>%{NOTSPACE:protocol}(?:,|\n|$))?
(?:.*?PORT=>%{NUMBER:port:int}(?:,|\n|$))?
(?:.*?HOST=>%{NOTSPACE:host}(?:,|\n|$))?
(?:.*?TRACE_ID=>%{NOTSPACE:trace_id}(?:,|\n|$))?
(?:.*?TIME_ZONE_ABBREVIATION=>%{NOTSPACE:tz_abbr}(?:,|\n|$))?
(?:.*?USER_EMAIL=>Email email=%{EMAILADDRESS:user_email}(?:,|\n|$))?
(?:.*?USER_AGENT=>%{DATA:user_agent}(?:,|\n|$))?
(?:.*?OS=>%{NOTSPACE:os_version}(?:,|\n|$))?
(?:.*?PLATFORM=>%{NOTSPACE:platform}(?:,|\n|$))?

规则说明 #

• 每个(?:.*?目标字段=>匹配规则(?:,|\n|$))?结构对应一个待提取的公共字段，?:标识该分组为非捕获组不会生成额外字段，.*?为惰性匹配会自动跳过该字段前的所有无关内容
• 末尾的?表示该字段为可选匹配，即使某条日志缺失该公共字段也不会导致整体匹配失败，如果是必填字段可直接删除?
• (?:,|\n|$)匹配字段值的结束边界，兼容逗号分隔、换行、行尾三种结束场景

注意：如果目标字段的取值本身包含逗号，可根据实际取值格式调整末尾的边界匹配规则，避免提前截断取值。

Logstash配置示例 #

filter {
  grok {
    match => { "message" => "
(?:.*?VERSION=>%{NOTSPACE:version}(?:,|\n|$))?
(?:.*?X_IP=>%{IP:client_ip}(?:,|\n|$))?
(?:.*?PROTO=>%{NOTSPACE:protocol}(?:,|\n|$))?
(?:.*?PORT=>%{NUMBER:port:int}(?:,|\n|$))?
(?:.*?HOST=>%{NOTSPACE:host}(?:,|\n|$))?
(?:.*?TRACE_ID=>%{NOTSPACE:trace_id}(?:,|\n|$))?
(?:.*?TIME_ZONE_ABBREVIATION=>%{NOTSPACE:tz_abbr}(?:,|\n|$))?
(?:.*?USER_EMAIL=>Email email=%{EMAILADDRESS:user_email}(?:,|\n|$))?
(?:.*?USER_AGENT=>%{DATA:user_agent}(?:,|\n|$))?
(?:.*?OS=>%{NOTSPACE:os_version}(?:,|\n|$))?
(?:.*?PLATFORM=>%{NOTSPACE:platform}(?:,|\n|$))?
" }
  }
}

扩展说明 #

后续如果需要新增其他公共提取字段，只需按照上述结构新增对应匹配行即可，不需要调整原有规则顺序，完全兼容字段乱序、存在额外无关字段的场景。

内容的提问来源于stack exchange，提问作者gp_