如何让Google Cloud Logging正确解析Container Optimized OS的JSON日志？

1. 确保容器日志输出格式合规 #

• 容器必须直接输出完整合法的JSON字符串到stdout/stderr，不能添加前缀、冗余换行或非JSON内容。例如应输出{"level": "info", "message": "user logged in"}，而非[INFO] {"level": "info", "message": "user logged in"}。
• 本地验证：执行docker logs <container-id>，确认每一行日志都是可直接解析的JSON格式。

2. 配置Docker日志驱动 #

Container Optimized OS默认使用journald作为Docker日志驱动，需确保配置正确：

• 创建或编辑/etc/docker/daemon.json文件，写入以下内容：

  {
    "log-driver": "journald",
    "log-opts": {
      "tag": "{{.Name}}"
    }
  }
  

• 重启Docker服务：sudo systemctl restart docker
• 重启目标容器，使新配置生效。

3. 配置Cloud Logging Agent的JSON解析规则 #

Cloud Logging Agent（fluentd）默认不会自动解析JSON日志，需添加自定义解析配置：

• 在/etc/google-fluentd/config.d/目录下创建json-parser.conf文件，内容如下：

  <source>
    @type tail
    path /var/log/journal/*/docker.service.journal
    pos_file /var/lib/google-fluentd/pos/docker-journald.pos
    tag docker.*
    <parse>
      @type json
      time_key time
      time_format %Y-%m-%dT%H:%M:%S.%NZ
    </parse>
  </source>
  

  注：根据日志实际的时间字段调整time_key和time_format，若日志无时间字段可删除这两行，使用采集时间。
• 重启Cloud Logging Agent：sudo systemctl restart google-fluentd

4. 验证解析效果 #

• 触发容器生成新的JSON日志，等待1-2分钟后在Cloud Logging控制台查看：
  • 确认日志条目存在jsonPayload字段，且包含结构化数据，而非全部存入textPayload。
  • 若仍未解析，检查Agent日志排查错误：sudo journalctl -u google-fluentd

5. 额外注意事项 #

• 若使用第三方日志库，需配置为直接输出纯JSON到stdout/stderr，而非写入本地文件（除非额外配置Agent采集文件日志）。
• 避免在JSON日志中包含换行符，否则会导致解析失败。

内容的提问来源于stack exchange，提问作者kevmo314