使用Fluent-Bit解析Python多行日志：Elastic日志拆分问题求助

1. 正确配置multiline_parsers.conf #

Python多行日志（如异常栈追踪）的核心特征是：完整日志块的首行通常包含时间戳或日志级别（INFO/WARNING/ERROR等），后续行是缩进的栈信息或续行。直接用以下规则覆盖或补充你的multiline_parsers.conf：

[PARSER]
    Name          python_multiline
    Format        regex
    Regex         /^(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3}) \[.*\] (INFO|WARNING|ERROR|DEBUG) /
    # 匹配首行的时间戳+日志级别，可根据你的实际日志格式调整正则
    Multiline     On
    Nextline      /^(?!\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3})/
    # 非时间戳开头的行都归到上一个日志块

如果你的Python日志没有标准时间戳，而是以[INFO]这类级别开头，调整正则：

[PARSER]
    Name          python_multiline
    Format        regex
    Regex         /^\[(INFO|WARNING|ERROR|DEBUG)\]/
    Multiline     On
    Nextline      /^(?!\[(INFO|WARNING|ERROR|DEBUG)\])/

2. 在Fluent-Bit主配置中启用多行解析 #

修改fluent-bit.conf的input段（以tail输入为例），指定使用上面的解析器：

[INPUT]
    Name              tail
    Path              /path/to/your/python/logs/*.log
    Parser            docker  # 若日志是Docker容器输出的Python日志则保留，否则删除
    Multiline_Parser  python_multiline
    Tag               python.logs

3. 排查常见配置错误 #

• 正则匹配精度问题：用fluent-bit -v启动服务，查看日志中是否有multiline相关的匹配失败提示，调整正则直到首行能被正确识别。
• 编码或特殊字符干扰：如果日志存在乱码，确保日志文件编码为UTF-8，在input段添加Encoding utf-8配置。
• 优先级冲突：若同时配置了Lua脚本和Multiline_Parser，Multiline_Parser优先级更高，先禁用Lua脚本测试，确认多行合并生效后再按需调整。

4. 复杂日志格式的Lua脚本方案（当multiline解析器失效时） #

如果日志格式特殊，首行无固定标识，用以下Lua脚本替换你之前的无效脚本：

function multiline_filter(tag, timestamp, record)
    local log_line = record["log"]
    -- 判断当前行是否是日志块首行（示例匹配时间戳开头）
    if string.match(log_line, "^%d{4}-%d{2}-%d{2}") then
        if _G.prev_log then
            -- 输出上一个完整日志块
            return 2, timestamp, {log = _G.prev_log}
        end
        _G.prev_log = log_line
        return 0, 0, 0 -- 暂存首行，等待后续行
    else
        -- 非首行追加到上一个日志块
        if _G.prev_log then
            _G.prev_log = _G.prev_log .. "\n" .. log_line
            return 0, 0, 0
        else
            -- 无前置日志块，直接输出当前行
            return 1, timestamp, record
        end
    end
end

-- 插件退出时输出最后一个未完成的日志块
function exit_cb()
    if _G.prev_log then
        return 1, 0, {log = _G.prev_log}
    end
end

然后在fluent-bit.conf中配置Lua过滤器：

[FILTER]
    Name          lua
    Match         python.logs
    Script        /path/to/your/multiline.lua
    Call          multiline_filter
    Exit_Callback exit_cb

验证方案 #

配置完成后重启Fluent-Bit，发送一条包含多行栈追踪的Python日志，查看Elastic中的文档是否为完整块。若仍有问题，检查Fluent-Bit的日志输出，确认是否有解析错误提示。

内容的提问来源于stack exchange，提问作者Akshat Sharma