ELK 6.2.3映射类型冲突及解析异常问题求助

针对你在ELK 6.2.3中遇到的映射错误，我分两个阶段的问题来拆解说明：

第一个错误：多文档类型冲突 #

错误原因 #

Elasticsearch 6.x版本开始严格限制单个索引只能包含一个文档类型（这是7.x彻底移除类型的过渡特性）。你的索引healthccms-2018.03.23已经存在my_doc类型，之后你将Logstash输出的文档类型改为doc，导致同一个索引下出现了两种类型，触发illegal_argument_exception。

即使你移除了Tag字段，问题依然存在——因为旧索引的类型映射已经被创建，不会因为字段修改而自动清除。

解决办法 #

1. 删除冲突索引，重新生成：
   直接删除已存在的旧索引，让Logstash重新创建符合单类型要求的索引：

   curl -X DELETE http://<es-host>:<port>/healthccms-2018.03.23
   

   之后重启Logstash，确保输出配置中document_type统一为doc。

2. 统一所有数据的文档类型：
   如果无法删除旧索引，需要将现有my_doc类型的数据重新索引到doc类型下，之后确保所有新数据都使用doc类型。重新索引的命令示例：

   curl -X POST http://<es-host>:<port>/_reindex \
   -H "Content-Type: application/json" -d '{
     "source": {
       "index": "healthccms-2018.03.23",
       "type": "my_doc"
     },
     "dest": {
       "index": "healthccms-2018.03.23",
       "type": "doc"
     }
   }'
   

   完成后删除旧的my_doc类型映射：

   curl -X DELETE http://<es-host>:<port>/healthccms-2018.03.23/_mapping/my_doc
   

第二个错误：字段解析失败（mapper_parsing_exception） #

错误原因 #

这个错误本质是字段类型不匹配：现有doc类型的映射中，某个字段的类型定义和你当前发送的数据类型不一致，导致Elasticsearch无法解析转换。比如映射中定义某字段为integer，但Logstash发送的是字符串；或者字段格式不符合预期（比如日期格式错误）。

你提供的日志截断了Could not convert...的具体内容，无法直接定位字段，但核心是类型冲突。

解决办法 #

1. 查看当前索引的映射结构：
   执行命令获取doc类型的完整映射，确认每个字段的类型定义：

   curl -X GET http://<es-host>:<port>/healthccms-2018.03.23/_mapping/doc
   

2. 获取完整的错误详情：
   查看Logstash或Elasticsearch的完整日志，找到Could not convert...后面的具体信息（比如是哪个字段、从什么类型转换到什么类型失败）。这是定位问题的关键。

3. 修正字段类型匹配：

   • 如果是Logstash输出的数据类型不对，在Logstash的filter阶段添加类型转换逻辑。比如将字符串转成数字：

     filter {
       mutate {
         convert => { "your_field" => "integer" }
       }
     }
     

   • 如果是映射定义错误，删除旧索引后，提前创建正确的索引模板，确保字段类型和数据一致。模板示例：

     curl -X PUT http://<es-host>:<port>/_template/healthccms-template \
     -H "Content-Type: application/json" -d '{
       "index_patterns": ["healthccms-*"],
       "mappings": {
         "doc": {
           "properties": {
             "your_field": { "type": "text" },
             "another_field": { "type": "integer" }
             # 其他字段的正确类型定义
           }
         }
       }
     }'
     

4. 验证数据格式：
   临时在Logstash中添加stdout { codec => rubydebug }输出，查看发送到Elasticsearch的原始数据结构，确认字段值的格式是否符合映射要求。

内容的提问来源于stack exchange，提问作者sdgd