Elastic中@timestamp与默认Time字段不合并问题求助

核心排查方向 #

问题本质是**@timestamp字段格式不合法、Elasticsearch映射类型错误，或Kibana索引模式未配置该字段为时间字段**，按以下步骤逐一解决：

1. 修正Vector采集配置，确保@timestamp为标准日期格式 #

Vector采集解析JSON后，必须将日志中的原始时间字段转换为ES可识别的标准日期格式（ISO 8601，如2024-05-20T14:30:00+08:00）。修改Vector配置文件（通常是vector.toml）：

# 示例：从文件采集日志，解析JSON后转换时间字段
[sources.app_logs]
type = "file"
path = "/var/log/your-app/*.log"

[transforms.parse_json_log]
type = "parse_json"
inputs = ["app_logs"]
field = "message" # 假设日志内容在message字段里，需替换成实际字段

[transforms.normalize_timestamp]
type = "remap"
inputs = ["parse_json_log"]
source = '''
# 将日志里的原始时间字段（比如.log_time）转换为@timestamp
.@timestamp = parse_timestamp(.log_time, "%Y-%m-%d %H:%M:%S")
# 如果原始时间已经是ISO格式，直接赋值：.@timestamp = .log_time
'''

[sinks.send_to_es]
type = "elasticsearch"
inputs = ["normalize_timestamp"]
endpoint = "http://your-es-host:9200"
index = "app-logs-%Y.%m.%d"

2. 检查并修复Elasticsearch的字段映射 #

确保ES索引中@timestamp的类型是date，而非text或keyword：

• 执行ES API查询映射：

curl -X GET "http://your-es-host:9200/app-logs-2024.05.20/_mapping/field/@timestamp"

• 如果返回类型不是date，创建索引模板强制映射（后续新建索引会自动生效）：

PUT _index_template/app-logs-template
{
  "index_patterns": ["app-logs-*"], # 匹配你的索引前缀
  "template": {
    "mappings": {
      "properties": {
        "@timestamp": {
          "type": "date",
          "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd'T'HH:mm:ssZ||ISO8601"
        }
      }
    }
  }
}

• 已存在的旧索引无法直接修改映射，需用_reindex重建索引，或重新采集日志到新索引。

3. 配置Kibana索引模式，指定@timestamp为默认时间字段 #

• 打开Kibana，进入Management > Index Patterns
• 找到对应的索引模式，点击「Edit pattern」
• 在「Time field」下拉菜单中选择@timestamp，点击「Save pattern」

完成以上步骤后，Kibana的时间筛选器就会自动关联@timestamp字段，实现时间合并。

内容的提问来源于stack exchange，提问作者SloVaC