如何在OpenSearch中将timestamp解析为日期类型？

问题背景 #

日志格式示例：

2022-12-07 17:22:53,838 [INFO]: {"status_code": 304, "method": "GET", "url": "/backend/some/url", "remote_ip": "rem.ote.ip.add", "response_time": 101.61018371582031} - tornado.access

经聚合器解析为timestamp、loglevel等字段后发送至OpenSearch，出现以下问题：

• timestamp被识别为string类型，无法在Discover页面排序
• 生成了异常的float类型date字段
• 尝试新建索引修改时间戳格式后，OpenSearch要么使用接收日志的时间作为timestamp，要么完全不识别自定义的timestamp字段

解决步骤 #

一、创建正确的索引映射（核心） #

OpenSearch的自动映射规则会误判字段类型，必须提前定义映射模板或索引映射，强制指定字段类型。

1. 创建索引模板（推荐，后续新索引自动套用）

通过PUT请求创建模板，匹配你的日志索引前缀，定义各字段的正确类型：

PUT _index_template/tornado_logs_template
{
  "index_patterns": ["tornado-logs-*"], // 替换为你的日志索引前缀
  "template": {
    "mappings": {
      "properties": {
        "timestamp": {
          "type": "date",
          "format": "yyyy-MM-dd HH:mm:ss,SSS" // 完全匹配日志中的时间格式
        },
        "loglevel": {
          "type": "keyword"
        },
        "status_code": {
          "type": "integer"
        },
        "method": {
          "type": "keyword"
        },
        "url": {
          "type": "keyword"
        },
        "remote_ip": {
          "type": "ip"
        },
        "response_time": {
          "type": "float"
        }
      },
      "dynamic_templates": [
        {
          "ignore_invalid_date": {
            "match": "date",
            "match_mapping_type": "float",
            "mapping": {
              "type": "ignore" // 忽略自动生成的异常float类型date字段
            }
          }
        }
      ]
    }
  },
  "priority": 100
}

2. 直接创建单个索引（适用于临时测试）

如果不需要模板，可直接创建指定映射的索引：

PUT tornado-logs-2022-12
{
  "mappings": {
    "properties": {
      "timestamp": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss,SSS"
      },
      "loglevel": {"type": "keyword"},
      "status_code": {"type": "integer"},
      "method": {"type": "keyword"},
      "url": {"type": "keyword"},
      "remote_ip": {"type": "ip"},
      "response_time": {"type": "float"}
    }
  }
}

二、确保聚合器发送的字段格式正确 #

• 确认聚合器解析后的timestamp字段值严格匹配yyyy-MM-dd HH:mm:ss,SSS格式，无多余字符或格式错误
• 如果聚合器（如Logstash）自动生成了@timestamp字段，需在OpenSearch Discover页面手动切换时间字段为自定义的timestamp，避免被默认的接收时间覆盖

三、验证映射生效 #

发送测试日志后，用以下命令检查timestamp字段的映射：

GET tornado-logs-2022-12/_mapping/field/timestamp

返回结果需显示type为date，format为指定的格式。

四、修复现有索引的旧数据 #

如果旧索引中timestamp已被识别为string类型，无法直接修改映射，需通过_reindex重建索引：

1. 先创建带正确映射的目标索引（参考步骤一）
2. 执行索引重建：

POST _reindex
{
  "source": {
    "index": "old-tornado-logs-*" // 替换为旧索引名称
  },
  "dest": {
    "index": "tornado-logs-2022-12" // 目标索引名称
  },
  "script": {
    "source": "ctx._source.timestamp = ctx._source.timestamp;" // 触发date类型转换
  }
}

内容的提问来源于stack exchange，提问作者naraghi