求助：Datadog无法解析JSON日志，需将所有字段转为列

检查日志发送格式 #

• 确认发送给Datadog的日志确实是原始JSON格式，没有被包裹在字符串中，也无多余转义字符。比如若日志被封装为{"content": "{\"level\": \"INFO\", ...}"}这类结构，Datadog会将其识别为普通字符串而非JSON对象。
• 验证发送渠道（Agent、API、日志转发工具等）的配置，确保未对JSON日志做额外字符串化处理。

检查Datadog日志管道配置 #

• 进入Datadog日志管道配置页面，定位对应日志来源（比如你的appName对应的来源）：
  • 确认已启用JSON解析处理器（JSON Parser Processor）。若未启用，手动添加该处理器，默认配置即可自动解析顶层JSON字段。
  • 若已配置JSON解析处理器，检查是否错误设置了Source attribute（比如指定了不存在的字段作为JSON来源），应留空或设置为日志的原始内容字段（通常是message或content，取决于发送时的字段名）。
  • 检查处理器执行顺序，确保JSON解析器是第一个执行的步骤——若有Grok解析器等其他处理器先执行，可能破坏JSON结构导致解析失败。

验证Datadog Agent配置（若使用Agent收集日志） #

• 若用Datadog Agent收集日志，检查datadog.yaml或对应日志配置文件：
  • 确保logs.config.logs下的source、service字段配置正确，且type设置为json：

    logs:
      - type: file
        path: /path/to/your/logs/*.log
        source: app
        service: app
        type: json
    

  • 重启Agent后发送测试日志，观察解析效果。

测试单条日志解析情况 #

• 使用Datadog日志管道配置页面内的日志测试工具，粘贴你的测试JSON日志，查看解析结果：
  • 若测试时能正常解析字段，说明问题出在日志发送环节或管道的条件匹配规则上。
  • 若测试也无法解析，检查JSON语法是否存在错误（比如遗漏逗号、引号不匹配），可通过JSON校验工具确认格式正确性。

检查字段冲突与索引设置 #

• 确认日志中的字段（如host、level）未与Datadog保留字段冲突，也未被全局字段过滤规则排除。
• 进入日志设置-字段管理页面，查看目标字段是否被标记为“未索引”，若有则调整为“索引”状态。

内容的提问来源于stack exchange，提问作者Alexander Tilkin