如何配置Fluentd拼接超过16K的分割日志（转发至Elasticsearch）

针对Kubernetes容器化环境下，Fluentd采集Docker日志时出现的大日志（如Java堆栈）被拆分为多个Elasticsearch文档的问题，以下是完整的配置示例，使用concat过滤器实现日志拼接：

完整配置代码 #

# 采集Docker容器日志
<source>
  @type tail
  path /var/log/containers/*.log
  pos_file /var/log/fluentd-containers.log.pos
  tag kubernetes.*
  read_from_head true
  <parse>
    @type json
    time_key time
    time_format %Y-%m-%dT%H:%M:%S.%NZ
    keep_time_key true
  </parse>
</source>

# 拼接分割的日志片段
<filter kubernetes.**>
  @type concat
  # 用容器ID标识唯一日志流，避免跨容器拼接
  stream_identity_key kubernetes.container_id
  # 指定要拼接的日志内容字段（Docker日志内容默认存在message字段）
  key message
  # 匹配Java堆栈日志的结束标记：非空白开头的行视为新日志的开始
  multiline_end_regex /^[^ \t]/
  # 超时自动拼接：5秒内无新日志片段则输出拼接结果
  flush_interval 5s
  # 限制单条日志最大长度，防止内存溢出
  max_length 1000000
</filter>

# 转发至Elasticsearch
<match kubernetes.**>
  @type elasticsearch
  hosts ["elasticsearch:9200"]
  index_name fluentd-kubernetes-%Y%m%d
  <buffer>
    @type file
    path /var/log/fluentd-buffer/elasticsearch
    flush_mode interval
    retry_type exponential_backoff
    flush_interval 30s
    retry_max_interval 30s
    chunk_limit_size 2M
  </buffer>
</match>

关键配置说明 #

• stream_identity_key kubernetes.container_id：核心配置，通过容器ID区分不同的日志流，确保只有同一容器的日志片段会被拼接，避免混乱。
• key message：指定要拼接的字段，Docker日志的实际内容默认存储在message字段中。
• multiline_end_regex /^[^ \t]/：针对Java堆栈日志的适配规则——堆栈跟踪的后续行通常以空格或制表符开头，当遇到非空白开头的行时，判定上一条堆栈日志已结束，触发拼接。如果是无固定格式的大文本日志，可删除该配置，仅依赖flush_interval完成拼接。
• flush_interval 5s：设置超时时间，确保即使未匹配到结束正则，也能在超时后输出拼接结果，避免日志长期堆积。
• max_length 1000000：限制拼接后单条日志的最大长度（单位：字节），防止过大日志占用过多内存，可根据实际需求调整。

注意事项 #

• 确保Fluentd已安装fluent-plugin-concat插件：官方Kubernetes版Fluentd镜像通常已预装该插件，若使用自定义镜像，需在构建时执行gem install fluent-plugin-concat。
• 若日志分割仅由大小超过16K导致（无堆栈格式），可移除multiline_end_regex配置，仅保留stream_identity_key和flush_interval即可完成拼接。

内容的提问来源于stack exchange，提问作者Becky McDermott