如何在Fluent-Bit中利用日志字段动态生成输出文件路径？

我来帮你搞定这个动态日志路径的需求！你想根据日志里的source和timestamp字段自动生成分层归档的文件路径，这个场景在日志管理里特别常见，咱们一步步调整配置来解决问题。

首先先说说你现有配置里的几个小问题：

• 你把文件名也塞进了rewrite_tag生成的Tag里，反而给后续文件输出添了不必要的麻烦；
• 直接用${source}会被Fluent-Bit当成系统环境变量解析，而非日志里的字段值；
• 正则匹配没覆盖完整的timestamp字符串，可能导致规则无法触发。

接下来给你一套可以直接复用的配置，我会逐部分解释：

第一步：用rewrite_tag生成带路径结构的Tag #

我们先把日志里的source和timestamp解析出来，生成一个包含路径层级的Tag（比如system/a/2024/07/01）：

[FILTER]
  name           rewrite_tag
  match          system
  # 正则捕获timestamp里的年、月、日，和source字段拼接成路径式Tag
  rule           $timestamp ^(\d{4})-(\d{2})-(\d{2})T.*$ system/$source/$1/$2/$3 false
  # 可选：设置内存缓冲区上限，避免高并发下内存溢出
  emitter_mem_buf_limit 10M

这里的正则^(\d{4})-(\d{2})-(\d{2})T.*$会完整匹配你的timestamp字段，精准捕获年（$1）、月（$2）、日（$3），再和source字段一起拼成新的Tag，为后续路径生成做准备。

第二步：配置file输出插件，基于Tag生成动态路径 #

接下来让file输出插件根据这个Tag自动创建路径并写入日志：

[OUTPUT]
  name    file
  format  plain
  # 匹配所有以system/开头的Tag（也就是我们rewrite后的目标Tag）
  match   system/*
  # 用${TAG}变量引用刚才生成的路径结构，拼接成最终基础路径
  path    /var/log/${TAG}
  # 指定固定的日志文件名
  filename system.log
  # 自动创建不存在的目录层级
  mkdir   true

这样配置后，Fluent-Bit会自动生成/var/log/system/a/2024/07/01目录，并把对应日志写入该目录下的system.log文件，完全符合你的预期！

额外小技巧：无需rewrite_tag的直接写法 #

如果你不想用rewrite_tag，也可以直接在output配置里引用日志字段生成路径，更简洁：

[OUTPUT]
  name    file
  format  plain
  match   system
  # 用record:前缀直接引用日志字段，strftime格式化timestamp为年/月/日结构
  path    /var/log/system/${record:source}/${record:timestamp:strftime:%Y/%m/%d}
  filename system.log
  mkdir   true

这种方式更直接，但rewrite_tag的好处是可以给不同日志生成不同Tag，方便后续扩展（比如给不同source的日志配置不同的输出规则）。

你可以用fluent-bit -c 你的配置文件.conf -v启动Fluent-Bit，查看日志输出确认路径是否正确生成，有问题随时调整正则或变量引用就行~

备注：内容来源于stack exchange，提问作者Steve Shipway