Grok解析日志返回options字段未转义双引号导致JSON无效如何解决
Grok解析日志生成无效JSON问题解决方法
问题核心
Grok捕获的options字段包含未转义的双引号,破坏了外层JSON的结构,同时你当前使用的Grok模式中options的捕获规则存在冗余分组,导致返回结果嵌套了多层数组。
可行解决方案
方案1:Logstash环境下使用mutate过滤器转义(最常用)
在原有Grok解析配置后新增mutate的gsub规则,直接替换options字段内的双引号为转义格式:
filter { # 原有Grok解析配置 grok { match => { "message" => "(?<timestamp>%{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{HOUR}:%{MINUTE}:%{SECOND}.%{NONNEGINT})\|\[(?<thread>[^\]]+)\]\|%{IPORHOST:pod_instance}\|%{LOGLEVEL:severity}\|%{GREEDYDATA}\|%{GREEDYDATA:application}\|%{GREEDYDATA:microservice}\|%{UUID:uuid}\|(?<message_type>[^|]*)\|(?<message>[^|]*)(?<options>(?:(\|.*)|(|AD.*)|()))" } } # 新增双引号转义规则 mutate { gsub => [ "options", '"', '\\"' ] } }
方案2:Filebeat环境下使用script处理器转义
如果是在Filebeat中使用Grok解析,可添加JS脚本处理器完成转义:
processors: - grok: field: message patterns: ["(?<timestamp>%{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{HOUR}:%{MINUTE}:%{SECOND}.%{NONNEGINT})\|\[(?<thread>[^\]]+)\]\|%{IPORHOST:pod_instance}\|%{LOGLEVEL:severity}\|%{GREEDYDATA}\|%{GREEDYDATA:application}\|%{GREEDYDATA:microservice}\|%{UUID:uuid}\|(?<message_type>[^|]*)\|(?<message>[^|]*)(?<options>(?:(\|.*)|(|AD.*)|()))"] - script: lang: javascript source: > function process(event) { let options = event.Get("options"); if (options) { // 替换所有双引号为转义格式 event.Put("options", options.replace(/"/g, '\\"')); } }
额外优化建议
你当前的Grok模式中options的捕获规则存在多个不必要的捕获分组,会导致解析结果返回嵌套数组,可将options部分的规则简化为\|(?<options>.*),直接捕获message字段之后所有内容,即可避免多层数组问题。
处理完成后,你将得到符合JSON规范的options字段输出:
"options": "|Error|Controller {\"testtag\":[\"test error message\"]}"
内容的提问来源于stack exchange,提问作者someone
相关产品推荐
相关产品推荐

