如何在AWS EKS Fargate环境中实现多行日志收集？

针对你在Fargate EKS集群中使用aws-for-fluent-bit无法实现多行日志拼接的问题，以下是几种可行的替代方案：

1. 替换为原生Fluent Bit镜像 #

aws-for-fluent-bit是AWS定制版，移除了部分原生Fluent Bit功能（包括Multiline过滤器），直接使用官方Fluent Bit镜像即可支持多行日志处理。

部署方式 #

可以将Fluent Bit以Sidecar容器的形式注入到应用Pod中，或者部署兼容Fargate的DaemonSet（EKS 1.21及以上版本支持Fargate运行DaemonSet）。

核心配置示例 #

在Fluent Bit配置中添加Multiline过滤器，以Java堆栈跟踪为例：

# fluent.conf
[INPUT]
    Name tail
    Path /var/log/containers/*.log
    Parser docker
    Tag *inst-dataservice*

[FILTER]
    Name multiline
    Match *inst-dataservice*
    Parser_Firstline java_start
    Parser_Cont java_cont
    # 可选：设置超时时间，避免日志拼接延迟
    Multiline_Keep_Empty_On false
    Timeout 5000

[OUTPUT]
    Name cloudwatch_logs
    Match   *inst-dataservice*
    region eu-west-1
    log_group_name inst-dataservice-logs
    log_stream_prefix from-
    log_key log
    auto_create_group true

对应的parsers.conf补充解析规则：

[PARSER]
    Name java_start
    Format regex
    Regex ^\d{4}-\d{2}-\d{2}T|\[ERROR\]|\[WARN\]|\[INFO\]

[PARSER]
    Name java_cont
    Format regex
    Regex ^\s+at |^Caused by:|^\s+\.{3}

2. 使用Fluentd作为日志代理 #

Fluentd对多行日志的处理更为成熟，虽然资源占用高于Fluent Bit，但Fargate的vCPU和内存配置足以支撑。

部署方式 #

同样以Sidecar或Fargate DaemonSet形式部署，需确保镜像包含fluent-plugin-cloudwatch-logs插件。

核心配置示例 #

# fluentd.conf
<source>
  @type tail
  path /var/log/containers/*.log
  tag *inst-dataservice*
  format json
</source>

<filter **>
  @type multiline
  format_firstline /^\d{4}-\d{2}-\d{2}T/
  # 匹配日志首行格式
  format1 /^(?<time>\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}\.\d{3}Z)\s+(?<level>\w+)\s+(?<message>.*)/
  # 匹配后续行内容
  format2 /^\s+(?<message>.*)/
</filter>

<match *inst-dataservice*>
  @type cloudwatch_logs
  region eu-west-1
  log_group_name inst-dataservice-logs
  log_stream_name_key stream
  auto_create_stream true
</match>

3. 应用层日志格式预处理 #

如果不想更换日志代理，可以在应用侧调整日志输出格式，将多行日志转为单行结构：

• Java应用：使用Logback/Log4j的JSON编码器，将异常堆栈跟踪封装为JSON字段，避免换行。例如Logback配置：

  <encoder class="net.logstash.logback.encoder.LogstashEncoder">
    <includeCallerData>true</includeCallerData>
    <customFields>{"service": "inst-dataservice"}</customFields>
  </encoder>
  

• Python应用：使用python-json-logger库，将日志输出为JSON格式，异常信息自动转为单行字符串。

内容的提问来源于stack exchange，提问作者Sela Goldenberg