Logstash无法获取正确时间戳问题求助

核心原因 #

Logstash默认会把事件生成的本地机器时间设为@timestamp，要替换成日志里的时间，必须完成两步：先用Grok提取日志中的时间字段，再用date插件将该字段的值覆盖@timestamp。

排查步骤 #

• 验证Grok是否正确提取时间字段
  在Logstash的output部分临时添加：

  stdout { codec => rubydebug }
  

  运行后查看控制台输出，确认是否存在你定义的时间字段（比如log_time）。如果没有，说明Grok的时间匹配表达式有误，需要调整Grok模式（比如核对日志时间的格式，匹配对应的Grok预定义模式或自定义正则）。
• 检查date插件配置是否正确
  确认配置中存在date插件，且参数满足以下要求：
  1. match参数的第一个值是Grok提取出的时间字段名，第二个值是日志时间的格式字符串（必须和日志时间完全对应，比如日志时间是2024-05-20 17:22:23，格式就是yyyy-MM-dd HH:mm:ss；带时区的格式如2024-05-20T17:22:23+08:00，格式要写yyyy-MM-dd'T'HH:mm:ssZ）。
  2. 明确设置target => "@timestamp"（默认就是这个值，但显式写出来更清晰）。
  3. 如果日志时间带时区，添加timezone => "Asia/Shanghai"（根据日志实际时区调整，比如UTC、Europe/London等）。

常见错误修正 #

• 遗漏date插件：只提取了时间字段但未配置date插件，导致@timestamp仍用本地时间。
• 字段名不匹配：Grok定义的时间字段名和date插件中match的字段名不一致，导致无法找到目标字段。
• 时间格式不匹配：格式字符串和日志时间的格式不对应，比如日志是05/20/2024却用yyyy-MM-dd匹配，导致转换失败。
• 时区未设置：日志时间是本地时区但未指定，导致转换后的@timestamp出现偏移。

示例配置 #

以某条包含[2024-05-20 17:22:23]格式时间的日志为例，完整filter配置如下：

filter {
  grok {
    match => { "message" => "\[%{TIMESTAMP_ISO8601:log_time}\] %{GREEDYDATA:log_content}" }
  }
  date {
    match => ["log_time", "yyyy-MM-dd HH:mm:ss"]
    target => "@timestamp"
    timezone => "Asia/Shanghai"
  }
}

内容的提问来源于stack exchange，提问作者Nhan Nguyen