Fluent Bit使用file输出插件时如何自动创建目录？Mkdir配置无效求助

问题原因 #

你遇到的报错是因为Fluent Bit 1.8版本的File输出插件并未提供Mkdir配置项——该功能是在1.9及后续版本中才新增的，你查阅的1.8版本文档可能存在内容滞后或错误。

可行解决办法 #

1. 升级Fluent Bit到1.9或更高版本 #

升级后，即可在File输出插件配置中添加Mkdir On来自动创建目录，示例配置：

[OUTPUT]
    Name file
    Match *
    Path /path/to/root
    File %tag%
    Mkdir On

这里%tag%会被替换为实际的tag值作为子路径，Mkdir On会自动创建不存在的目录层级。

2. 不升级版本的替代方案 #

如果无法升级，可通过以下方式处理：

• 提前预创建目录：在启动Fluent Bit前，手动或通过脚本生成所有可能的tag对应的目录结构。比如用Shell脚本遍历已知的tag列表，执行mkdir -p命令创建目录。
• 使用Lua过滤器辅助处理：编写Lua脚本，在日志进入输出阶段前，解析tag并调用系统命令创建目录。示例Lua脚本（需启用Lua过滤器）：

function filter(tag, timestamp, record)
    os.execute('mkdir -p /path/to/root/' .. tag)
    return 2, timestamp, record
end

然后在配置中添加Lua过滤器：

[FILTER]
    Name lua
    Match *
    script create_dir.lua
    call filter

注意：这种方式需要确保Fluent Bit进程有足够的权限创建目录，且频繁创建目录可能带来性能开销。

内容的提问来源于stack exchange，提问作者김태우