Datadog日志处理：如何解析嵌套转义JSON格式的Body字段

问题场景 #

发送到Datadog的日志为JSON格式，但Body字段是转义后的JSON字符串：

{
  "Headers": {
    "Content-Type": [
      "application/json"
    ]
  },
  "Method": "POST",
  "Body": "{\"test\": 1234, \"test2\": {\"test3\": 1245}}",
  "URL": "https://test",
  "Host": "test",
  "UserAgent": ""
}

希望Datadog能将Body内的内容解析为JSON结构，但常规的%{data::json}只能解析外层JSON，无法处理转义的Body内容；尝试%{data::json{source => "Body" target => "Body"}}这类规则，被Datadog判定为无效。

1. 更优的解析方案 #

不用纠结Grok，直接用Datadog自带的JSON解析处理器更高效：

• 进入日志管道（Log Pipelines），新增一个JSON解析处理器
• 配置时，Source attribute选择Body，Target attribute可设为Body（直接覆盖原字段）或新字段（比如parsed_body）
• 该处理器会自动识别转义的JSON字符串，直接解析为嵌套的JSON结构，无需编写复杂规则

2. 有效Grok规则的实现方式 #

如果必须使用Grok，需要分两步处理：

• 第一步：清理转义字符
  先添加一个替换处理器，将Body里的\"替换为"：
  • 选择Body作为源字段，匹配模式填\\"，替换内容填"，勾选“全局替换”
• 第二步：Grok解析
  再添加Grok处理器，用%{data::json}作为规则，然后在处理器设置中指定来源字段为处理后的Body，目标字段按需设置即可

也可以先通过Grok提取转义字符串，再处理：

Body: %{QUOTEDSTRING:body_escaped}

提取出body_escaped字段后，用替换处理器清理转义字符，最后用JSON解析处理器转为JSON结构。

内容的提问来源于stack exchange，提问作者Leon