如何通过Logstash JDBC插件在Elasticsearch中存储微秒格式日期？

别担心，这个问题完全可以解决——Elasticsearch是支持微秒级日期存储的，只是需要在Logstash的处理逻辑和ES的索引映射上做一点针对性配置。我分步骤给你讲清楚：

1. 让Logstash完整解析微秒日期 #

Logstash的JDBC插件从MySQL读取日期字段后，很可能会把它当成普通字符串自动截断到毫秒。你需要用date过滤器显式指定解析格式，确保保留微秒部分。

假设你的MySQL日期字段格式是2024-05-20 14:30:45.123456（6位微秒），在Logstash配置文件里添加这样的过滤器：

filter {
  date {
    # 替换成你实际的日期字段名
    match => ["event_date", "yyyy-MM-dd HH:mm:ss.SSSSSS"]
    # 可以把解析后的日期放回原字段，或者放到@timestamp
    target => "event_date"
    locale => "en"
  }
}

这里的核心是格式字符串里的.SSSSSS——它对应6位微秒，必须明确写出来，不然Logstash会默认只解析到毫秒，直接截断后面三位数字。

2. 配置Elasticsearch索引映射支持微秒 #

接下来要确保ES的索引映射能识别并存储微秒级日期。如果你的索引是自动创建的，ES可能会生成默认的date映射，但为了保险，最好手动创建或更新映射：

PUT /your_event_index
{
  "mappings": {
    "properties": {
      "event_date": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss.SSSSSS||yyyy-MM-dd HH:mm:ss.SSS||strict_date_optional_time||epoch_millis"
      }
      # 其他字段的配置...
    }
  }
}

这里的format参数列出了多种兼容的日期格式，包括微秒、毫秒、标准格式和时间戳，确保ES能正确解析Logstash传过来的微秒日期并完整存储。

3. 确保MySQL查询不截断微秒 #

最后检查你的Logstash JDBC输入查询语句，别用DATE_FORMAT这类函数截断日期的微秒部分，直接选择字段即可：

SELECT event_id, event_date, other_fields FROM your_events_table;

只要你的MySQL字段类型是DATETIME(6)或TIMESTAMP(6)（原生支持微秒），JDBC插件就能完整读取到微秒信息。

验证结果 #

配置完成后重启Logstash导入数据，然后在ES里查询一条记录验证：

GET /your_event_index/_search
{
  "query": { "match_all": {} },
  "size": 1
}

如果返回的日期字段包含6位小数（比如2024-05-20T14:30:45.123456Z），就说明微秒已经成功保存了。

内容的提问来源于stack exchange，提问作者BarathVutukuri