Fluent Bit处理Docker中Java应用大日志（含堆栈跟踪）问题

你的问题核心是Docker会把大日志（尤其是Java堆栈）拆分成多条partial message，而之前的配置顺序不对，导致multiline-stacktrace过滤器无法识别Docker的拆分标记。以下是修正后的完整配置和关键说明：

修正后的配置 #

[INPUT]
   Name              forward
   Listen            0.0.0.0
   Port              24224

# 先处理多行/部分消息合并，再解析Docker格式
[FILTER]
    name             multiline-stacktrace
    match            *
    # 按Docker的部分消息标记合并：相同容器ID+相同拆分ID的条目合并
    merge_extra_field container_id
    merge_extra_field partial_id
    # 匹配Java堆栈行（以空格/tab开头），合并到上一条日志
    match_pattern     ^\s+

[FILTER]
    name             parser
    match            *
    key_name         log
    parser           docker

[OUTPUT]
    Name   stdout
    Match  *

关键调整说明 #

1. 过滤器顺序必须前置multiline处理：
   如果你先运行parser过滤器，会把原始的Docker日志结构（包含partial_id、container_id这些拆分标记）拆解成纯文本的log字段，导致multiline-stacktrace无法识别哪些条目属于同一条原始日志。必须先合并，再解析。

2. 双维度合并覆盖两种场景：

   • merge_extra_field 针对Docker主动拆分的partial message，通过容器ID和拆分ID把零散的日志块拼回去；
   • match_pattern ^\s+ 针对Java堆栈自带的多行格式，把以空格或Tab开头的堆栈行合并到上一条异常消息中。

验证和排查 #

• 先临时注释parser过滤器，直接输出原始日志，确认是否存在partial_id和container_id字段（这是Docker拆分日志的标记）；
• 确保你的Fluent Bit版本在v1.8以上（multiline-stacktrace过滤器从这个版本开始支持Docker partial message处理）；
• Kubernetes环境下，确认容器的日志驱动是json-file（Docker默认驱动，会生成带partial标记的日志）。

内容的提问来源于stack exchange，提问作者Matrix12