无法在Logstash管道中使用grok处理日志消息求助

问题分析 #

你的配置存在几个潜在问题导致处理结果不符合预期：

• 自定义模式TIMESTAMP_PROMATIC/LOGLEVEL_SERILOG未验证是否能准确匹配目标日志格式
• Grok匹配未锚定行首，可能导致匹配偏移
• 空格匹配的精准度不足，可能影响字段提取

修正后的配置方案 #

方案1：使用自定义模式（需确保模式定义正确）

首先确认..\config\pattern目录下的自定义模式文件（如custom_patterns）包含以下定义：

TIMESTAMP_PROMATIC %{TIME}
LOGLEVEL_SERILOG (DBG|INF|WRN|ERR|FTL)

然后更新Logstash管道配置：

grok {
  patterns_dir => "..\config\pattern"
  match => { "message" => "^%{TIMESTAMP_PROMATIC:promatic_timestamp}\s+\[%{LOGLEVEL_SERILOG:log.level}\]\s+%{GREEDYDATA:message}" }
  tag_on_failure => ["_grokparsefailure"] # 用于排查匹配失败问题
}
date {
  match => ["promatic_timestamp", "HH:mm:ss.SSS"]
  remove_field => ["promatic_timestamp"]
}

方案2：直接使用内置模式（无需自定义模式）

如果不想依赖自定义模式，可直接用Logstash内置的TIME和DATA模式简化配置：

grok {
  match => { "message" => "^%{TIME:promatic_timestamp}\s+\[%{DATA:log.level}\]\s+%{GREEDYDATA:message}" }
  tag_on_failure => ["_grokparsefailure"]
}
date {
  match => ["promatic_timestamp", "HH:mm:ss.SSS"]
  remove_field => ["promatic_timestamp"]
}

修改说明 #

• 添加^锚定日志行首，确保匹配从时间戳起始位置开始，避免无关字符干扰
• 用\s+替代%{SPACE}，精准匹配一个或多个空格（匹配日志中时间与级别、级别与内容之间的空格）
• 新增tag_on_failure标签，当Grok匹配失败时会标记_grokparsefailure，便于后续排查问题
• 确保LOGLEVEL_SERILOG模式覆盖所有可能的日志级别值（如DBG/INF/WRN等）

内容的提问来源于stack exchange，提问作者Jasper