Logstash向Splunk发送日志时时间戳异常问题求助

我目前使用Logstash HTTP输出插件向Splunk发送日志，遇到一个问题：日志中的时间戳为CST（中部标准时间），被Splunk摄取后自动转换为UTC，产生了5小时的时差。我尝试在Logstash的filter配置中通过date filter，将timezone参数设置为America/Chicago（CST）来显式转换时间戳，但问题仍存在，Splunk中的时间戳仍显示为UTC。

我的Logstash filter配置如下：

grok {
    match => {
      "message" => [
        "^%{TIMESTAMP_ISO8601:timestamp} \[%{DATA:thread}\] %{LOGLEVEL:logLevel} %{DATA:logger} - %{GREEDYDATA:message}"
      ]
    }
  }

  date {
    match => ["timestamp", "ISO8601"]
    locale => "en"
    timezone => "America/Chicago"
  }

  mutate {
    replace => { "tags" => "test_edge_sshd" }
    replace => { "host" => "my-test-edge" }
    add_field => { "log_file" => "%{[log][file][path]}" }
    add_field => { "timezone" => "CST" }
    remove_field => ["ecs", "@version", "log", "input", "agent", "@timestamp"]
  }
}

核心问题分析 #

你的配置里最大的问题是在mutate环节删除了@timestamp字段。Logstash的date filter会将解析后的时间（根据你指定的America/Chicago时区）存储到@timestamp字段中，这个字段是Logstash标记事件时间的标准字段。当你把它删掉后，Splunk只能读取原始的timestamp字段，而如果原始timestamp字符串没有携带明确的时区标识（比如ISO8601格式不带-05:00或CST），Splunk会默认将其识别为UTC时间，这就导致了5小时的时差。

修正步骤 #

1. 保留@timestamp字段：从mutate的remove_field列表中移除@timestamp，让Logstash将解析后的正确时间传递给Splunk。
2. 指定Splunk使用@timestamp作为事件时间：在Splunk的数据源配置中，将时间提取的目标字段设置为@timestamp，这样Splunk会直接使用这个已解析好的时间戳，不会再自动转换。
3. 可选：调整Splunk显示时区：如果希望在Splunk界面中直接显示CST时间，可以在Splunk的用户设置或全局配置里将默认时区改为America/Chicago，底层存储的UTC时间会自动转换成指定时区展示。

修正后的配置示例 #

grok {
    match => {
      "message" => [
        "^%{TIMESTAMP_ISO8601:timestamp} \[%{DATA:thread}\] %{LOGLEVEL:logLevel} %{DATA:logger} - %{GREEDYDATA:message}"
      ]
    }
  }

  date {
    match => ["timestamp", "ISO8601"]
    locale => "en"
    timezone => "America/Chicago"
  }

  mutate {
    replace => { "tags" => "test_edge_sshd" }
    replace => { "host" => "my-test-edge" }
    add_field => { "log_file" => "%{[log][file][path]}" }
    add_field => { "timezone" => "CST" }
    remove_field => ["ecs", "@version", "log", "input", "agent"]
    # 移除了@timestamp的删除操作
  }
}

额外检查点 #

• 确认原始日志中的timestamp字符串是否带有时区信息：如果原始的ISO8601时间已经包含时区偏移（比如2024-05-20T10:00:00-05:00），date filter的timezone参数会被忽略，此时只要保留@timestamp字段，Splunk就能正确识别时区。
• 检查Logstash HTTP输出插件配置：确保没有对@timestamp字段进行额外修改或删除，保证该字段能完整发送到Splunk。

内容的提问来源于stack exchange，提问作者Mohit Duggal