含JSON内容的日志文件的Filebeat多行配置问题咨询
问题根因
你当前的多行合并配置失效,核心原因是multiline.pattern字段默认仅支持正则表达式匹配,不支持Grok语法的%{TIMESTAMP_ISO8601}写法,导致匹配规则完全未生效,日志才会逐行拆分上传。
修正后配置
直接替换你的filebeat输入段配置即可:
filebeat.inputs: - type: log enabled: true paths: - /tmp/*.log multiline.type: pattern # 正则匹配你日志行首的ISO8601格式时间,判定新日志的起始行 multiline.pattern: '^\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}\.\d+[+-]\d{2}:\d{2}' multiline.negate: true multiline.match: after # 可选配置:未匹配到新日志开头的行最多缓存5秒就强制发送,避免缓存积压 multiline.timeout: 5s
配置逻辑说明
- 你所有独立日志的行首都符合ISO8601时间格式,上述正则可以精准识别新日志的起始位置
multiline.negate: true表示:不符合以上行首时间格式的行,都不属于新日志的开头multiline.match: after表示:将不属于新日志开头的行,全部追加到上一条合法日志的末尾,自然就把跨多行的JSON内容合并为单条日志
验证步骤
- 执行
filebeat test config确认配置语法无误 - 重启Filebeat服务,新产生的日志就会按规则合并后上传到logz.io
- 若仍有异常,可检查日志文件的换行符是否为Unix格式(LF),Windows格式的CRLF换行符可能导致匹配失效
内容的提问来源于stack exchange,提问作者Ramazan Kilimci
相关产品推荐
相关产品推荐

