Fluentd+OpenSearch Dashboard栈时间字段为字符串，时间过滤失效求助

核心问题 #

你的Fluentd配置已正确解析日志中的time字符串为时间类型，但因配置了keep_time_key true，原字符串格式的time字段被保留了下来。OpenSearch默认会将这个字符串字段识别为text/keyword类型，而非日期类型，这直接导致了时间过滤功能失效。同时，Fluentd会自动将解析后的时间存入默认的@timestamp字段（标准日期类型），但你可能未在Dashboard中使用该字段进行过滤。

具体解决步骤 #

方案1：改用Fluentd自动生成的@timestamp字段（推荐） #

Fluentd解析时间后生成的@timestamp字段是标准ISO8601格式的日期类型，OpenSearch会自动识别其类型，直接使用它即可正常过滤：

• 打开OpenSearch Dashboard的Discover页面
• 在顶部时间过滤器的字段选择器中，选择@timestamp字段
• 此时时间过滤功能即可正常工作

方案2：让OpenSearch将原time字段识别为日期类型 #

若你坚持使用原time字段，需手动修改OpenSearch的索引映射，指定time字段为日期类型：

1. 创建或更新索引模板，添加如下映射规则：

{
  "mappings": {
    "properties": {
      "time": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss.SSS"
      }
    }
  }
}

2. 注意：已写入的历史日志需要重新索引才能生效，后续新日志会自动应用该映射。

可选优化：调整Fluentd配置 #

如果不需要保留原字符串格式的time字段，可将keep_time_key true改为keep_time_key false，只保留解析后的@timestamp字段，避免字段冗余：

<source>
 @type tail
  path /opt/liferay/logs/*.json.log
  pos_file /var/log/td-agent/test1_gpay.pos
  read_from_head true
  follow_inodes true
  refresh_interval 10
  tag gpay1
  <parse>
    @type json
    time_type string
    time_format %Y-%m-%d %H:%M:%S.%L
    time_key time
    keep_time_key false <!-- 移除原字符串time字段 -->
  </parse>
</source>

注意事项 #

• 若未配置Fluentd输出到OpenSearch的索引模板，OpenSearch的自动映射可能无法正确识别time字段的日期格式，建议手动配置索引模板确保字段类型准确。
• 脚本字段无法替代原生日期字段的过滤能力，因为它是动态计算的，不支持高效的时间范围查询。

内容的提问来源于stack exchange，提问作者Udepentctrsp