Kubernetes环境下FluentBit解析日志message字段的配置求助

1. Key_Name 配置错误 #

你的Key_Name写法不符合FluentBit的字段引用规则，正确写法应直接使用嵌套字段的点分隔路径，不需要$符号和单引号。修改后的配置如下：

[FILTER]
    Name                parser
    Match               keycloak.*
    Parser              keycloak_events
    Preserve_Key        On
    Reserve_Data        On
    Key_Name            log_processed.message  # 修正此处

2. Parser正则表达式语法错误 #

你提供的正则最后部分存在语法混乱（authSessionTabId=(?<authSessionTabId>[<userId>[^,]*), i^,]*)），这会导致正则完全无法匹配。修正后的正则保证语法正确，同时支持字段可选匹配（适配Keycloak日志可能的字段缺失/顺序变化）：

[PARSER]
    Name                keycloak_events
    Format              regex
    Regex               ^type=(?<type>[^,]*)(?:, realmId=(?<realmId>[^,]*))?(?:, clientId=(?<clientId>[^,]*))?(?:, userId=(?<userId>[^,]*))?(?:, ipAddress=(?<ipAddress>[^,]*))?(?:, error=(?<error>[^,]*))?(?:, auth_method=(?<authMethod>[^,]*))?(?:, auth_type=(?<authType>[^,]*))?(?:, redirect_uri=(?<redirectUri>[^,]*))?(?:, code_id=(?<codeId>[^,]*))?(?:, username=(?<username>[^,]*))?(?:, authSessionParentId=(?<authSessionParentId>[^,]*))?(?:, authSessionTabId=(?<authSessionTabId>[^,]*))?$

说明：(?:...)表示非捕获组，?标记该组可选，确保日志中部分字段缺失时正则仍能正常匹配。

3. 调试方法 #

（1）用内置工具验证Parser #

在FluentBit容器内执行命令，直接测试正则是否能解析目标日志内容：

parser_test /etc/fluent-bit/parsers.conf keycloak_events "type=LOGIN_ERROR, realmId=test, clientId=test, userId=null, ipAddress=10.10.0.1, error=user_not_found, auth_method=openid-connect, auth_type=code, redirect_uri=https://keycloak.example-domain.com/111/console/#/, code_id=5c2c1240-3374-4655-ac21-ce9ecffc7916, username=test, authSessionParentId=5c2c1240-3374-4655-ac21-ce9ecffc7916, authSessionTabId=jm0L-tr5X1C"

若返回解析后的JSON字段，说明Parser配置正确。

（2）添加Stdout输出查看中间结果 #

临时添加stdout输出插件，打印经过所有Filter处理后的完整日志，确认log_processed.message字段是否存在：

[OUTPUT]
    Name                stdout
    Match               keycloak.*
    Format              json_lines

查看容器日志，若log_processed对象或message字段不存在，需检查第一个Kubernetes Filter的Merge_Log、Merge_Log_Key配置是否生效。

（3）检查Filter执行顺序与匹配规则 #

确保两个Filter的Match模式完全匹配日志Tag，且Parser Filter在Kubernetes Filter之后（FluentBit按配置文件顺序执行Filter）。

内容的提问来源于stack exchange，提问作者lochy89