Logstash自定义时间字段无法转为Date类型的问题咨询

你的配置未生效的核心原因是date插件解析失败，导致mytime始终保持拼接后的字符串类型（Keyword），具体问题出在这两点：

1. Grok提取的时间不完整 #

默认的%{TIME:log_time}只能匹配毫秒级（3位小数）的时间，但你的日志是微秒级（6位小数），这会导致log_time丢失后三位数字，拼接出来的mytime格式不符合date插件的匹配规则，最终解析失败。

2. 冗余的字段拼接增加出错概率 #

拆分年、月、日再拼接的操作多了一层转换，反而容易引入格式偏差，进一步导致date解析失败。

修正后的配置方案（两种可选） #

方案一：简化流程，直接匹配完整时间

跳过字段拆分拼接的步骤，用grok直接提取完整时间字符串，再让date插件解析：

filter{ 
  grok { 
    match => { 
      "message" => "(?<mytime>\d{8} \d{2}:\d{2}:\d{2}\.\d{6})"
    }
  }
  date {
    match => ["mytime", "yyyyMMdd HH:mm:ss.SSSSSS"]
    timezone => "UTC"
    target => "@timestamp" # 推荐写入Logstash默认时间字段，也可保留mytime作为自定义字段
  }
}

方案二：修正原配置的Grok规则

如果要保留原有的拼接逻辑，把grok里的%{TIME:log_time}改成精准匹配微秒的规则：

filter{ 
  grok { 
    match => { 
      "message" => "%{YEAR:year}(?<month>\d{2})(?<day>\d{2}) (?<log_time>\d{2}:\d{2}:\d{2}\.\d{6})"
    }
  }
  mutate {
    add_field => {
      "mytime" => "%{year}-%{month}-%{day}T%{log_time}Z"
    }
    remove_field => ["day", "month", "year", "log_time"]
  }
  date {
    match => ["mytime", "yyyy-MM-dd'T'HH:mm:ss.SSSSSSZ"]
    timezone => "UTC"
    target => "mytime" 
  }
}

验证方法：配置生效后，查看Elasticsearch中mytime的字段类型，正常应为date；如果还是Keyword，检查Logstash日志中的date解析错误提示，根据提示调整匹配格式。

内容的提问来源于stack exchange，提问作者sne