如何配置Fluentd实现按命名空间分离日志并分压缩HTTP传输？

核心实现思路 #

• 从K8s日志元数据中提取命名空间字段，作为日志隔离的标识
• 利用Fluentd的动态路径变量生成每个命名空间独立的日志存储路径
• 通过Buffer的压缩功能减少日志体积，再通过HTTP插件发送压缩后的日志数据

完整Fluentd配置示例 #

# 输入：收集K8s容器日志，自动注入K8s元数据
<source>
  @type kubernetes
  tag kubernetes.*
  path /var/log/containers/*.log
  pos_file /var/log/fluentd-containers.log.pos
  read_from_head true
</source>

# 过滤：提取命名空间到顶层字段，简化后续路径配置
<filter kubernetes.**>
  @type record_transformer
  enable_ruby true
  <record>
    namespace ${record["kubernetes"]["namespace_name"]}
  </record>
  # 过滤掉没有命名空间的日志（可选）
  <filter>
    @type grep
    <exclude>
      key namespace
      pattern ^$
    </exclude>
  </filter>
</filter>

# 输出1：按命名空间存储本地压缩日志（可选，若不需要本地存储可删除）
<match kubernetes.**>
  @type file
  path /var/log/fluentd/namespaces/${namespace}/container
  compress gzip
  format json
  <buffer tag, namespace>
    @type file
    path /var/log/fluentd/buffers/namespace_buffer
    chunk_limit_size 100MB
    flush_interval 5m
  </buffer>
</match>

# 输出2：压缩后通过HTTP发送日志
<match kubernetes.**>
  @type http
  endpoint http://your-log-server:8080/receive
  method post
  headers {"Content-Type": "application/json", "Content-Encoding": "gzip"}
  format json

  <buffer namespace>
    @type file
    path /var/log/fluentd/http_buffers/${namespace}
    compress gzip
    chunk_limit_size 50MB
    flush_interval 3m
    flush_at_shutdown true
  </buffer>
</match>

关键配置说明 #

• 输入插件：使用kubernetes输入插件自动解析K8s容器日志的元数据，无需手动从文件名提取命名空间
• 过滤插件：通过record_transformer将K8s元数据中的namespace_name提取为顶层字段namespace，避免后续路径配置中嵌套过深；额外的grep过滤可剔除无效日志
• 本地存储输出：path字段通过${namespace}变量动态生成每个命名空间的独立文件夹，compress gzip自动将日志压缩为.gz文件；Buffer按tag和namespace分区，确保不同命名空间的日志不会混合
• HTTP发送输出：Buffer按namespace分区并启用gzip压缩，减少传输带宽占用；请求头中指定Content-Encoding: gzip，确保接收端能正确解析压缩数据

注意事项 #

• 确保Fluentd进程对/var/log/fluentd/目录拥有读写权限
• 接收HTTP请求的服务需支持处理gzip压缩的JSON数据
• 可根据日志量调整Buffer的chunk_limit_size和flush_interval参数，平衡存储占用与发送延迟

内容的提问来源于stack exchange，提问作者as.tek