Elasticsearch 6.2.3含数组JSON批量导入失败问题咨询

首先咱们直接揪出问题核心：你把config字段的类型设成了text，但它实际是包含嵌套对象数组的复杂JSON结构，text类型只适配纯文本内容，这种映射不匹配会导致Elasticsearch无法正确解析文档，直接引发批量导入失败。下面是具体的解决方案：

1. 修正映射结构 #

你需要将config定义为object类型，同时把内部的data数组设为nested类型（nested能正确索引数组里的每一个独立对象，避免扁平化后字段关联混乱）。执行以下命令更新映射：

PUT /configuration
{
  "mappings": {
    "doc": {
      "properties": {
        "id": {"type": "integer"},
        "config": {
          "type": "object",
          "properties": {
            "_id": {"type": "keyword"},
            "data": {
              "type": "nested",
              "properties": {
                "oid": {"type": "keyword"},
                "instance": {"type": "keyword"},
                "value": {"type": "text", "fields": {"keyword": {"type": "keyword", "ignore_above": 256}}}
              }
            }
          }
        }
      }
    }
  }
}

• oid和instance设为keyword类型，适合后续精确匹配场景；value同时配置text和keyword子字段，兼顾全文搜索和精确查询需求。
• 如果索引已经存在，你需要先删除旧索引再重新创建（ES6.x不允许修改已有字段的类型），或者用_reindex API将数据迁移到新索引。

2. 规范使用批量导入API #

Elasticsearch的_bulk API要求严格的换行格式：每一行是操作指令（比如{"index": {"_index": "configuration", "_type": "doc"}}），下一行是对应的文档内容，交替排列。示例如下：

{"index": {"_index": "configuration", "_type": "doc"}}
{"id":214,"config":{ "_id": "111", "data": [ { "oid" : "3.10.2.5.35.3", "instance" : "0", "value" : "0" }, { "oid" : "3.999.2.5.2", "instance" : "0", "value" : "my_value" } ] } }
{"index": {"_index": "configuration", "_type": "doc"}}
{"id":215,"config":{ "_id": "112", "data": [ { "oid" : "3.10.2.5.35.4", "instance" : "0", "value" : "1" } ] } }

• 建议将批量文件拆分为每批次1000-5000条文档（根据你的ES节点内存调整），避免单次请求过大导致超时或内存溢出。
• 用curl命令执行批量导入：

curl -XPOST 'http://localhost:9200/_bulk' -H 'Content-Type: application/json' --data-binary @your_batch_file.json

3. 排查导入失败的细节 #

如果还是失败，先去查看Elasticsearch的日志文件（默认路径是/var/log/elasticsearch/elasticsearch.log），里面会给出具体错误原因，比如：

• JSON文档语法错误（比如缺少逗号、引号不闭合）
• 字段类型不匹配（比如给integer字段传入了字符串值）
• 单个文档体积超过ES限制（默认最大100MB，可修改http.max_content_length参数调整）

内容的提问来源于stack exchange，提问作者user1409708