Fluent Bit v4.1.1：${tag[1]}未设置，如何动态命名OpenSearch索引？

我正在使用Fluent Bit v4.1.1将Docker容器日志发送至OpenSearch，需要从日志路径/logs/test-project/...中动态提取项目名称（如test-project），并将其用于OpenSearch的索引名称。但当前遇到两个问题：

• Fluent Bit启动时出现警告：

[ warn] [env] variable ${tag[1]} is used but not set

• OpenSearch中生成的索引名是fluentbit--2025.10.30，而预期是fluentbit-test-project-2025.10.30

当前Fluent Bit配置 #

[SERVICE]
    Flush        5
    Daemon       Off
    Log_Level    info
    Parsers_File parsers.conf
    HTTP_Server  On
    HTTP_Listen  0.0.0.0
    HTTP_Port    2020

[INPUT]
    Name              tail
    Path              /logs/*/*.log
    Tag               project.*
    Path_Key          filepath
    Refresh_Interval  5
    Skip_Long_Lines   On
    DB                /fluent-bit/tail-db/tail.db
    Mem_Buf_Limit     10MB
    Read_from_Head    On
    Multiline.Parser  docker, cri

[FILTER]
    Name              lua
    Match             project.*
    Script            /fluent-bit/scripts/extract_project.lua
    Call              set_project_tag

[OUTPUT]
    Name              opensearch
    Match             project.*
    Host              opensearch-node1
    Port              9200
    TLS               On
    TLS.Verify        Off
    HTTP_User         admin
    HTTP_Passwd       Manoj2@@@
    Index             fluentbit-${tag[1]}-%Y.%m.%d
    Replace_Dots      On
    Suppress_Type_Name On

Lua脚本内容 #

function set_project_tag(tag, timestamp, record)
    local filepath = record["filepath"] or ""
    local project = string.match(filepath, "/logs/([^/]+)/") or "unknown"
    local new_tag = "project." .. project
    return 2, timestamp, record, new_tag
end

解决方案 #

问题根源 #

启动时的警告是因为Fluent Bit加载配置时，初始Tag为project.*，不存在第二个分段（tag[1]），因此触发变量未设置的警告。同时，Lua脚本仅在运行时修改Tag，无法覆盖启动阶段的配置检查逻辑，部分场景下还会出现索引模板无法及时获取更新后Tag值的问题。

修正步骤 #

1. 修改Lua脚本，将项目名存入日志记录
   在修改Tag的同时，把提取到的项目名添加到record字段中，后续直接引用该字段生成索引名：

   function set_project_tag(tag, timestamp, record)
       local filepath = record["filepath"] or ""
       local project = string.match(filepath, "/logs/([^/]+)/") or "unknown"
       -- 将项目名存入record的project字段
       record["project"] = project
       local new_tag = "project." .. project
       return 2, timestamp, record, new_tag
   end
   

2. 调整OpenSearch输出的Index配置
   将原来依赖Tag分段的${tag[1]}替换为直接引用日志记录的${record:project}，彻底规避Tag相关的配置检查问题：

   [OUTPUT]
       Name              opensearch
       Match             project.*
       Host              opensearch-node1
       Port              9200
       TLS               On
       TLS.Verify        Off
       HTTP_User         admin
       HTTP_Passwd       Manoj2@@@
       Index             fluentbit-${record:project}-%Y.%m.%d
       Replace_Dots      On
       Suppress_Type_Name On
   

可选优化（若坚持使用Tag） #

如果一定要通过Tag分段实现，可以改用rewrite_tag_filter过滤器替代Lua修改Tag，同时在输入阶段通过路径占位符生成包含项目名的初始Tag（如Tag project.$(basename $(dirname $FILE))），但这种方式配置复杂度更高，不如直接使用record字段的方案可靠。

内容的提问来源于stack exchange，提问作者Teneson125