Docker部署ELK 7.13中索引字段类型自动转为text的问题求助

看起来你遇到的核心问题是索引模板没有正确应用，加上部分字段名不匹配，导致Elasticsearch自动生成了不符合预期的字段映射（比如date变text、geo_point拆成float）。结合你的配置和ELK 7.13的特性，我整理了以下解决方案：

一、修正模板字段名匹配问题 #

你的模板里部分字段名和实际JSON数据不对应，这会导致模板定义完全失效，ES只能自动映射这些字段：

• 模板里的email → 数据里是driver_email
• 模板里的app-platform/app-version → 数据里是app_platform/app_version

请更新你的live_locations.json模板，确保字段名完全一致：

{ 
  "settings": { 
    "index": { 
      "number_of_shards": 5, 
      "number_of_replicas": 1 
    } 
  }, 
  "mappings": { 
    "properties": { 
      "driver_id": { "type": "integer" }, 
      "driver_email": { "type": "text" }, 
      "location": { "type": "geo_point" }, 
      "app_platform": { "type": "text" }, 
      "app_version": { "type": "text" }, 
      "created_at": { "type": "date", "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"}, 
      "required_matches": { "type": "integer" },
      "type": { "type": "keyword" }
    } 
  } 
}

二、确保Logstash正确加载并覆盖模板 #

你的Logstash输出配置里注释了template_overwrite => true，这会导致如果模板已经存在（哪怕是旧的错误版本），Logstash不会更新它。请修改logstash.conf的output部分：

if ([type] == "location") { 
  elasticsearch { 
    hosts => "http://elasticsearch:9200" 
    index => "live_locations_%{+YYYY_MM_dd}" 
    manage_template => true  # 明确开启模板管理（默认是true，但显式写更稳妥）
    template => "/usr/share/logstash/Template/live_locations.json" 
    template_name => "live_locations" 
    template_overwrite => true  # 开启覆盖，确保新模板生效
    document_id => "%{uuid}" 
  } 
}

三、预处理数据，避免ES自动映射提前触发 #

ES在收到第一个文档时，如果模板还没加载，会自动生成映射，之后即使模板生效也无法修改已有字段类型。所以我们需要在Logstash里提前处理字段类型：

1. 把created_at字符串转成date类型，添加到filter部分：

filter { 
  # 你的现有mutate、split、json逻辑...
  
  # 添加date解析，确保created_at是date类型
  date {
    match => ["created_at", "yyyy-MM-dd HH:mm:ss"]
    target => "created_at"
  }
  
  mutate { 
    add_field => { "uuid" => "D%{driver_id}T%{created_at}" } 
    rename => { "[location][latitude]" => "[location][lat]" "[location][longitude]" => "[location][lon]" } 
    convert => { "[location][lat]" => "float" "[location][lon]" => "float" } 
  } 
}

四、清理旧索引并验证 #

1. 先删除已经生成的错误映射的索引（因为ES无法修改已有字段的类型）：

# 用curl执行Elasticsearch API
curl -X DELETE "http://elasticsearch:9200/live_locations_*"

2. 重启Logstash，让它加载更新后的模板：

docker restart <your-logstash-container-name>

3. 验证模板是否正确加载：

curl -X GET "http://elasticsearch:9200/_template/live_locations"

4. 导入新数据后，检查索引映射是否符合预期：

curl -X GET "http://elasticsearch:9200/live_locations_YYYY_MM_dd/_mapping"

（把YYYY_MM_dd替换成实际日期）

关于Filebeat的补充说明 #

你之前换用Filebeat后问题依旧，本质原因是一样的：要么是字段名不匹配，要么是模板没覆盖，或者旧的自动映射已经存在。你可以把上述模板配置到Elasticsearch中（通过PUT _template/live_locations API直接上传），然后确保Filebeat输出时指定正确的索引名，并且清理旧索引后重新采集数据即可。

内容的提问来源于stack exchange，提问作者Hadii Varposhti