如何让GCP Ops Agent正确解析容器内的JSON结构化日志？

我在GCP虚拟机的容器里跑应用，输出的日志是标准JSON格式：

{"severity":"INFO","message":"Http request served","timestamp":{"seconds":1712394651,"nanos":76426063},"httpRequest":{"requestMethod":"GET","requestUrl":"/health","requestSize":"0","responseSize":"0","userAgent":"curl/7.76.1","latency":"0","referer":""}}

本来想让这些日志在GCP日志探索器里以结构化JSON展示，但试了好几种日志传输方式，应用日志全被当成非结构化文本：

• 直接用Docker GCP日志驱动
• 搭配Ops Agent的Docker Fluent日志驱动
• 搭配Ops Agent的Docker Journald日志驱动

我给Ops Agent配了parse_json处理器，但日志还是没被解析：

• 用Fluent传输时，日志被塞在jsonPayload.log字段里
• 用Journald传输时，日志被塞在MESSAGE字段里

我的Ops Agent配置如下：

logging:
  receivers:
    rec-v1:
      type: fluent_forward
      listen_port: 24224
    rec-v1-journald:
      type: systemd_journald
  processors:
    rec-v1-processor:
      type: parse_json
  service:
    pipelines:
      default_pipeline:
        receivers: []
      tokenz_backend_v1:
        receivers:
          - rec-v1
          - rec-v1-journald
        processors: [v1-processor]

更新：后来我把应用的标准输出直接重定向到宿主172.17.0.1的TCP接收器，日志现在能正常解析了。但还是想知道之前的方式为啥不行。

原因分析 #

1. Ops Agent处理器配置名不匹配 #

你定义的处理器叫rec-v1-processor，但流水线里引用的是v1-processor，名字对不上，导致parse_json处理器根本没被触发——这是最核心的问题，处理器都没跑起来，自然不会解析日志。

2. Docker日志驱动的封装特性 #

不管用Fluentd还是Journald日志驱动，Docker都会把应用的标准输出套一层壳：

• Fluent驱动会把应用日志放到log字段里，作为jsonPayload的子内容
• Journald驱动会把应用日志放到MESSAGE字段里

就算处理器配置正确，默认的parse_json只会解析日志的顶层结构，不会自动深入到log或MESSAGE字段去解析里面的JSON。你得指定要解析的目标字段才行。

3. Docker GCP日志驱动的局限 #

直接用Docker的GCP日志驱动时，驱动默认会把容器日志当成非结构化文本上传，除非你特意配置让它识别JSON，但这个驱动对嵌套JSON的支持很差，没法自动解析应用输出的结构化日志。

补充：正确的Ops Agent配置示例 #

要是想保留Docker日志驱动的方式，得修正处理器名称，还要指定解析的字段：

logging:
  receivers:
    rec-v1:
      type: fluent_forward
      listen_port: 24224
    rec-v1-journald:
      type: systemd_journald
  processors:
    rec-v1-processor:
      type: parse_json
      field: jsonPayload.log  # 针对Fluent驱动场景
    rec-v1-journald-processor:
      type: parse_json
      field: MESSAGE  # 针对Journald驱动场景
  service:
    pipelines:
      default_pipeline:
        receivers: []
      tokenz_backend_v1:
        receivers: [rec-v1]
        processors: [rec-v1-processor]
      tokenz_backend_v1-journald:
        receivers: [rec-v1-journald]
        processors: [rec-v1-journald-processor]

你后续成功的原因 #

直接把应用输出重定向到Ops Agent的TCP接收器，跳过了Docker日志驱动的封装步骤，应用输出的JSON直接被Ops Agent接收，没有额外的嵌套字段，所以能被正确识别成结构化日志。

内容的提问来源于stack exchange，提问作者Haemin Yoo