如何使用Fluentd解析Kubernetes Pod多行输出日志

你遇到的是Kubernetes容器标准输出采集的典型问题：容器运行时会将应用打印的每一行日志都封装为独立的JSON结构，默认Fluentd按行采集时自然会把多行异常拆分为多条独立日志，可通过以下两种方案解决：

方案1：使用Fluentd concat插件实现多行聚合（无侵入应用） #

该方案在日志采集侧完成合并，无需修改应用代码。

步骤1：安装concat插件 #

如果使用官方Fluentd镜像，可在Dockerfile中添加安装命令：

RUN gem install fluent-plugin-concat

如果是宿主机部署的td-agent，执行命令：

td-agent-gem install fluent-plugin-concat

步骤2：添加合并过滤规则 #

在Fluentd配置文件的source段之后、output段之前添加如下过滤配置，可匹配Node.js、Java、Python等常见语言的异常栈格式：

<filter kubernetes.**>
  @type concat
  # 指定要合并的字段为容器日志内容字段
  key log
  # 多行日志的起始行正则：匹配异常、报错的开头特征，可按需扩展
  multiline_start_regexp /^Error|^Exception|^Traceback|^Caused by/
  # 多行内容的拼接分隔符
  separator "\n"
  # 合并后使用第一条日志的时间戳
  use_first_timestamp true
  # 按Pod、容器、输出流分组，避免跨不同应用的日志合并
  partial_key kubernetes.pod_name
  partial_key kubernetes.container_name
  partial_key stream
  # 未匹配到下一行起始的超时时间，超时后自动输出缓存的日志，避免滞留
  flush_interval 5
</filter>

注意：上述配置依赖Fluentd的Kubernetes元数据插件提取Pod、容器信息，大部分EFK栈的默认Fluentd配置都已预装该插件，如未启用需先配置fluent-plugin-kubernetes_metadata_filter插件。

方案2：应用层输出结构化JSON日志（更推荐） #

从源头避免多行拆分问题，稳定性更高：

• 修改应用日志配置，使用pino、winston（Node.js）、Logback（Java）、loguru（Python）等日志库，将整条日志（含异常栈）序列化为单条JSON结构输出
• 容器运行时会将整个JSON作为log字段的值采集，Fluentd无需额外合并配置，后续在Elasticsearch中还可直接检索日志中的自定义字段

内容的提问来源于stack exchange，提问作者pyy