Kubernetes中.log文件格式与Filebeat日志解析相关技术问询

1. stdout是否为日志来源？其含义是什么？ #

• stdout是日志的来源标识字段，它的含义是该日志来自容器的标准输出流（Standard Output）。
• 应用将日志输出到Docker容器的stdout后，Kubernetes在收集并转存日志时，通过这个字段标记日志的输出流类型，和stderr（标准错误流）做区分，方便后续识别日志是普通业务输出还是错误输出。

2. 字段F的含义是什么？ #

• 这个字段属于Kubernetes日志采集环节的自定义/扩展标记字段，没有通用的标准定义，常见用途包括：
  • 标记日志的细分来源（比如Pod缩写、容器ID片段、业务模块标识）
  • 作为日志分类的标识（比如区分不同环境、不同应用实例的日志）
  • 部分自定义日志驱动或采集插件会用它存储额外的元数据
• 具体含义需要结合你的Kubernetes日志驱动配置或自定义采集规则确认，但核心作用是补充日志的来源元信息。

3. Filebeat如何解析.log中的时间戳、stdout、F的类型，以及如何识别并解析JSON内容？ #

核心配置思路 #

通过Filebeat的JSON解析处理器，分层解析Kubernetes封装的外层JSON和应用本身的JSON日志，同时自动处理字段类型与时间戳转换：

（1）解析外层K8s添加的字段（时间戳、stdout、F）

在Filebeat的processors中添加json处理器，将日志行的外层JSON直接解析为事件的顶级字段：

processors:
  - json:
      keys_under_root: true
      add_error_key: true

• 时间戳转换：如果外层时间戳字段名为time（或你环境中的实际字段名），添加timestamp处理器将其转换为Filebeat标准的@timestamp字段：

  - timestamp:
      field: time
      layouts:
        - '2006-01-02T15:04:05.999Z' # 匹配你的时间戳格式，比如ISO8601
      test:
        - '2024-05-20T12:34:56.789Z'
  

• stdout和F字段：解析后会自动保留为事件字段，Filebeat会根据字段值自动识别类型（布尔值、字符串、数字等），无需额外配置。

（2）解析应用本身的JSON内容

如果应用的原始JSON日志被封装在外层的某个字段中（比如外层的log字段），添加decode_json_fields处理器，将该字段内的JSON解析为单独的事件字段：

processors:
  # 先解析外层K8s的JSON
  - json:
      keys_under_root: true
      add_error_key: true
  # 再解析应用的JSON内容，可指定前缀区分
  - decode_json_fields:
      fields: ["log"] # 替换为你环境中存储应用JSON的字段名
      target: "app_logs" # 解析到指定前缀下，也可设为""解析到根级别
      add_error_key: true

完整示例配置片段 #

filebeat.inputs:
  - type: log
    paths:
      - /var/log/containers/*.log # 你的K8s日志文件路径
    encoding: utf-8

processors:
  # 解析K8s封装的外层JSON
  - json:
      keys_under_root: true
      add_error_key: true
  # 转换时间戳为标准格式
  - timestamp:
      field: time
      layouts:
        - '2006-01-02T15:04:05.999Z'
      test:
        - '2024-05-20T12:34:56.789Z'
  # 解析应用自身的JSON日志
  - decode_json_fields:
      fields: ["log"]
      target: "app"
      add_error_key: true

内容的提问来源于stack exchange，提问作者Альберт Александров