如何使用Grok解析无固定顺序与结构的应用日志

你的核心问题是原Grok模式强制要求deviceid在userAgent之前，且未处理字段缺失的情况，导致顺序不符或字段缺失的日志无法正确解析。以下是修正方案：

修正后的自定义模式 #

先调整自定义模式，确保捕获组只提取目标值，同时兼容JSON格式：

GENERATE_TIME \d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3}
DEVICEID "deviceid":"([a-f0-9]{10})"  # 精准匹配10位deviceid，需兼容任意长度可替换为.*?
AGENT "userAgent":"(.*?)"

主Grok模式（支持无序字段+缺失兼容） #

使用Grok的可选匹配语法((?:pattern)?)和非捕获组((?:...))实现字段顺序无关的匹配，同时跳过日志开头的非JSON部分：

%{GENERATE_TIME:generateTime} \[.*?\] %{WORD:level} %{DATA}?(?:%{DEVICEID:deviceId}|%{AGENT:userAgent})?(?:%{DEVICEID:deviceId}|%{AGENT:userAgent})?%{DATA}?

模式说明： #

• %{GENERATE_TIME:generateTime}：精准匹配时间戳
• \[.*?\] %{WORD:level}：跳过线程名和日志级别
• %{DATA}?：跳过JSON开头的{和可能的空格
• (?:%{DEVICEID:deviceId}|%{AGENT:userAgent})?：可选匹配deviceid或userAgent，不固定顺序
• 重复一次可选匹配组，覆盖两种字段的任意排列顺序
• 最后的%{DATA}?：跳过JSON结尾的}和剩余内容

更高效的替代方案（推荐） #

如果你的日志处理环境支持，优先提取JSON片段后用JSON过滤器解析，完全不用关心字段顺序和缺失问题：

# 第一步：提取时间戳、日志级别和JSON内容
grok {
  match => { "message" => "%{GENERATE_TIME:generateTime} \[.*?\] %{WORD:level} %{GREEDYDATA:json_payload}" }
}
# 第二步：解析JSON
json {
  source => "json_payload"
  target => "parsed_fields"
}
# 第三步：按需重命名字段（可选）
mutate {
  add_field => {
    "deviceId" => "%{[parsed_fields][deviceid]}"
    "userAgent" => "%{[parsed_fields][userAgent]}"
  }
  remove_field => ["json_payload", "parsed_fields"]
}

测试验证 #

对应你的三条日志，两种方案都能输出符合预期的结果：

1. 第一条日志：捕获generateTime、deviceId、userAgent
2. 第二条日志：即使userAgent在前，依然能完整捕获所有字段
3. 第三条日志：仅捕获generateTime和userAgent，缺失的deviceId不会生成无效空值

内容的提问来源于stack exchange，提问作者Jardaliao